PHP Web Crawling: Ejemplo de recogida de datos CURL nativo

Manos a la obra con PHP para capturar datos

¿Qué es lo que más teme en la recopilación de datos? Por supuesto, ¡el bloqueo de IP! He visto tantas cosas como esta cuando el sitio web de destino se queda en negro después de ejecutar los scripts que tanto me ha costado escribir. Hoy, te enseñaré a usar CURL nativo con la IP proxy de ipipgo para conseguir un esquema de recolección estable como el perro viejo.

Configuración básica de CURL

En primer lugar, todo el entender la configuración de base CURL de PHP, este código es la raíz de la colección:

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "URL de destino");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_HEADER, 0);
$output = curl_exec($ch);

centroRecuerda añadir el tiempo de espera. Se recomienda ajustar CURLOPT_TIMEOUT a 20 segundos y CURLOPT_CONNECTTIMEOUT a 15 segundos, para que no se atasque el script.

La forma correcta de abrir una IP proxy

Ve directamente al código de configuración del proxy de ipipgo, eso es lo que te salva la vida:

curl_setopt($ch, CURLOPT_PROXY, 'Proxy IP:puerto');
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'Cuenta:contraseña');

Cuando se utiliza el pool de proxy rotativo de ipipgo, se recomienda obtener una nueva IP para cada petición. su API para obtenerla es sencilla para los ladrones:

$ip = file_get_contents('https://api.ipipgo.com/getproxy');

Técnicas antibloqueo

Consejos específicosRecuerda añadir User-Agent aleatorio en la cabecera, el proxy IP pool de ipipgo viene con esta función, ahorra mucho corazón.

No sea descuidado con el manejo de excepciones

Captar guiones sin manejar excepciones es como conducir un coche sin cinturón de seguridad. Un seguro triple imprescindible:

1. curl_errno() comprueba errores de red
2. http_code determina el estado de la respuesta
3. Configuración del mecanismo de reintento automático

if(curl_errno($ch)){
    file_put_contents('error.log', date('A-m-d H:i:s').'' Error:'.curl_error($ch)."" , FILE_APPEND);
}

Preguntas frecuentes sobre control de calidad

P: ¿Qué debo hacer si mi IP proxy falla de repente?
R: Con la función de cambio inteligente de ipipgo, su API devuelve IPs verificadas y disponibles.

P: ¿Qué debo hacer si la velocidad de recogida es lenta?
R: Prueba su línea proxy exclusiva de alta velocidad, ¡recuerda ajustar el parámetro de concurrencia de CURL!

P: ¿Qué debo hacer si necesito cobrar sitios web en el extranjero?
R: ipipgo tiene IPs residenciales estáticas en más de 200 países alrededor del mundo, sólo elija el nodo regional correspondiente.

Programa de captura mejorado

Para participar en la recopilación a gran escala de amigos un truco: utilizar la API de ipipgo + Redis para participar en la gestión de la piscina IP, la estructura del código se trata de esto:

$redis = new Redis();
$ipList = $redis->lRange('proxy_pool',0,-1);

foreach($ipList as $proxy){
    // Aquí ponemos la lógica de recolección
    // Si no se recoge automáticamente se excluye la IP actual
}

Recuerde configurar una tarea programada para reponer automáticamente IPs frescas a través de la API de ipipgo en las primeras horas de cada día para asegurarse de que hay más de 50 proxies disponibles en el pool en todo momento.

Por último, me gustaría decir unas palabras de corazón, no trate de ser barato al elegir un servicio de proxy. Antes de usar unos baratos, 10 IP pueden tener 8 fallos. Más tarde cambiar ipipgo paquete platino, caro es caro, pero gana en la estabilidad, el volumen de negocios directamente más de 3 veces. Su función de enrutamiento inteligente es realmente bueno, automáticamente coincide con la línea más rápida, ahorrando mucho tiempo de depuración.