Ejemplo de rastreo web PHP: Ejemplos de recolección PHP

Te enseñamos a utilizar PHP para capturar datos sin bloquear el número de

El mayor quebradero de cabeza de dedicarse a la recolección en red es que la IP esté bloqueada, especialmente aquellos sitios con un estricto mecanismo anti-crawler. Hoy te enseñaremos a utilizarIP proxyEsta herramienta mágica, para que nuestros scripts PHP puedan ejecutarse de forma estable sin flipping.

¿Para qué sirve una IP proxy?

Por ejemplo, como ir al supermercado para tratar de comer, si siempre utiliza el mismo plato para frotar, los guardias de seguridad deben estar en usted. Proxy IP es nuestro truco para cambiar la placa, cada visita a una dirección IP diferente, el sitio no reconocerá la misma persona en la operación.

Esto es imprescindible.ipipgoEl servicio, su piscina IP dinámica es particularmente grande, medido media hora puede cambiar 500 + IP. la clave es la función de autenticación automática, no tienen que cambiar manualmente la contraseña de la cuenta, este punto es demasiado amigable para el programador perezoso.

PHP live code walk

// Configurar el servidor proxy
$proxy = 'gateway.ipipgo.com:9021'; // Configurar el servidor proxy.
$auth = 'username:password'; // obtener en ipipgo backend

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'URL de destino');
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYUSERPWD, $auth); curl_setopt($ch, CURLOPT_PROXYUSERPWD, $auth);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true).

// Recuerda añadir un retardo para evitar bloqueos
usleep(rand(500000, 2000000)); // Recuerda añadir un retardo para evitar bloqueos.

$result = curl_exec($ch); curl_close($ch); // recuerda añadir un retardo para evitar bloqueos.
curl_close($ch).

Atención concentrada:Recuerde que debe ir a ipipgo sitio web oficial para registrarse y obtener un paquete de prueba gratuito, los nuevos usuarios para enviar 1G flujo suficiente para probar. El retraso en el código no se puede guardar, el sitio puede detectar la velocidad de las solicitudes continuas.

Los 3 mejores consejos para romper la contraescalada

Preguntas frecuentes QA

P: ¿Qué debo hacer si mi IP proxy falla de repente?
R: Esta situación es el ochenta por ciento de la IP es el sitio de destino sacó negro. Se recomienda utilizar ipipgoModo de conmutación inteligenteEl sistema filtrará automáticamente las IP no válidas.

P: ¿Qué debo hacer si no consigo ponerme al día con la adquisición?
R: Pruebe la combinación de multithreading + proxy IP pool. ipipgo soporta 50 conexiones al mismo tiempo, recuerde controlar la petición no más de 3 veces por segundo.

P: ¿Qué debo hacer si encuentro una ventana emergente CAPTCHA?
R: Este es el momento de reducir la frecuencia de recogida, con ipipgo'sIP estática de larga duraciónservicios, dichas IP suelen etiquetarse como usuarios de confianza.

Guía para evitar el pozo

Dos de las cosas que más fácilmente enamoran a los novatos:

1. No se ha establecido el parámetro de tiempo de espera, lo que provoca que el script se bloquee
2. Olvida la codificación de las páginas web, la salida es desordenada

Se recomienda añadirlo en la configuración de curl:

curl_setopt($ch, CURLOPT_TIMEOUT, 15);
curl_setopt($ch, CURLOPT_ENCODING, 'gzip,deflate').

Finalmente dijo un conocimiento frío: algunos sitios detectará la pista de movimiento del ratón, con la colección de PHP en lugar de la automatización del navegador es más seguro. Con ipipgo agente residencial, la tasa de éxito puede llegar a más del 90%. Lo que no entienden puede ir directamente a su sitio web oficial para encontrar el servicio técnico al cliente, la velocidad de respuesta es bastante rápido.