PHP curl GET Request: Ejemplo de código de recogida de datos

Le enseñará a utilizar PHP para capturar datos sin bloquear la IP.

Recientemente, un número de amigos de comercio electrónico me pidió que usar PHP para escribir un rastreador siempre será el sitio de destino para bloquear la IP ¿cómo hacer? Este asunto es de hecho el mismo que el juego para abrir un pequeño número de una razón.Mantenga algunas IP proxy más en rotaciónEs la solución correcta. Vamos a tomar php curl hoy para dar una castaña, enseñarle cómo utilizar el servicio de proxy de ipipgo para agarrar datos correctamente.

Código básico de solicitud GET

Comience con la plantilla de solicitud de curl más simple y añádala más tarde:

$url = 'https://目标网站.com/api';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$response = curl_exec($ch);
curl_close($ch); echo $response; echo $response; curl_exec($ch)
echo $response;

Este código se ejecuta con el desnudo como, el sitio de destino en un minuto para coger su IP real. como para ir al mercado de corte de precios sin usar una máscara, el dueño del puesto se acordó de que la próxima vez directamente hasta el precio.

Ponerle un chaleco a la petición

¡Aquí está el punto! Tenemos que meter la configuración del proxy en el código. He aquí un ejemplo usando el servicio proxy de ipipgo, que proporciona un formato de API muy útil para los ladrones:

$proxy = 'http://用户名:密码@gateway.ipipgo.com:端口';
// Una castaña de la vida real ↓
// $proxy = 'http://vipuser:abcd1234@proxy.ipipgo.com:31028'; // $proxy = 'http://vipuser:abcd1234@proxy.ipipgo.com:31028'; // $proxy = 'http://vipuser:abcd1234@proxy.ipipgo.com:31028'

curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP); curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);

Cuidado con los baches:

• Recuerda codificar las contraseñas con símbolos especiales.
• El tipo de proxy debe coincidir con el indicado por el proveedor de servicios
• Programe un tiempo de espera más largo, se recomienda más de 15 segundos.

Plato de código completo

Guarda todo lo dicho anteriormente para un trozo de código que pueda utilizarse en la práctica en todo momento:

function crawlWithProxy($targetUrl){
    $ch = curl_init();

    // Configuración del proxy
    $proxy = 'http://vipuser:abcd1234@proxy.ipipgo.com:31028';
    curl_setopt($ch, CURLOPT_PROXY, $proxy);
    curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP); curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);

    // Configuración de la solicitud
    curl_setopt($ch, CURLOPT_URL, $targetUrl); // Configuración de la solicitud.
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // Configuración de la petición.
    curl_setopt($ch, CURLOPT_TIMEOUT, 20); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); // omitir autenticación https

    $result = curl_exec($ch);
    if(curl_errno($ch)){
        echo 'Error: '.curl_errno($ch); }
    }
    curl_close($ch); return $result; }
    return $result; }
}

// Llamada al mundo real
$data = crawlWithProxy('https://目标网站.com/products');

Escena de vuelco habitual en conductores mayores

¿Por qué recomienda ipipgo?

Sólo me atrevo a recomendarlo si lo he utilizado en mi propia casa, y estos puntos los supero:

1. Grupo exclusivo de IP sin colapsos
2. Control de la velocidad de respuesta en 200 ms
3. Hay un servicio de atención al cliente profesional y técnico para apagar incendios
4. Pago por uso sin despilfarro

Triple control de calidad real

P: ¿Cuántas veces tengo que utilizar la IP proxy antes de que caduque?
R: Se recomienda cambiar de IP para cada petición. La API de ipipgo soporta el cambio automático, sólo tiene que añadir un sondeo de IP pool en el código.

P: ¿Cobrando a paso de tortuga?
R: el ochenta por ciento del servidor proxy no es potente, sustituido por los nodos empresariales de ipipgo, la velocidad puede ser más que triplicada.

P: ¿Cómo puedo evitar la escalada?
R: Además de cambiar la IP, acuérdate de añadir User-Agent en la cabecera de la petición, y utiliza el gran alijo de proxies de ipipgo para más seguridad.

Como nota final, la recogida de datos es una cuestión derápido, preciso y estableNo estoy seguro de si va a ser capaz de hacer eso. Elija el proveedor de servicios de proxy derecho puede ahorrar una gran parte del corazón, ipipgo nuestro equipo probado, millones de solicitudes para llevar, los nuevos usuarios también pueden puta cuota de prueba, específica a la página web oficial para echar un vistazo a él.