PHP proxy IP web crawler ejemplo: PHP proxy IP crawler ejemplo

Enseñanza práctica del uso de PHP para realizar rastreos web sin bloquear el número

Los rastreadores deben haber encontrado esta situación: acaba de agarrar unas cuantas páginas de datos IP fue bloqueado, especialmente dedicada a la vigilancia de los precios del comercio electrónico o análisis de la opinión pública, a menudo por el sitio de destino para tirar el negro. En este momento tenemos que confiar en proxy IP para continuar, hoy tomamos PHP para decir cómo jugar con proxy IP para capturar datos.

Elegir el proveedor de servicios proxy IP adecuado es el primer paso hacia el éxito

Hay muchos proveedores de servicios proxy IP en el mercado, pero realmente no hay muchos fiables. Aquí deben estar dispuestos aipipgoEl agente residencial dinámico de la familia, probado personalmente y eficaz. Su piscina IP doméstica se actualiza 2 millones + todos los días, apoya la conmutación automática, y lo más crítico es que hay líneas optimizadas específicamente para plataformas de comercio electrónico.

// Ejemplo de obtención del proxy ipipgo
$api_url = "https://api.ipipgo.com/getproxy?format=json&key=你的API密钥";
$proxy_data = json_decode(file_get_contents($api_url), true);

// Obtener la información del proxy se parece a esto
/
{
  
  "port": 8888, "expire_time": "2024-08-01 12:00
  "expire_time": "2024-08-01 12:00:00"
}
/

Código PHP en vivo (con gestión de excepciones)

El siguiente código está probado en batalla, centrándose en las secciones de configuración del proxy y manejo de excepciones:

function fetchWithProxy($url) {
    $ch = curl_init();

    // Obtener el último proxy de ipipgo_proxy
    $proxy = get_ipipgo_proxy(); // ¡Envuelva esta función usted mismo!

    curl_setopt($ch, CURLOPT_PROXY, $proxy['ip']); // Esta función se envuelve a sí misma.
    curl_setopt($ch, CURLOPT_PROXYPORT, $proxy['puerto']); curl_setopt($ch, CURLOPT_PROXYPORT, $proxy['puerto']);
    curl_setopt($ch, CURLOPT_TIMEOUT, 15); // acortar el tiempo de espera
    curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_URL, $url); // establecer punto corto para timeout.
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_URL, $url); // Establecer punto corto para timeout.
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); // omitir la verificación del certificado

    // Disfrazar el navegador
    curl_setopt($ch, CURLOPT_HTTPHEADER, [
        'User-Agent: Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36'
    ]).

    try {
        $output = curl_exec($ch); if(1TP_errno($ch))
        if(curl_errno($ch)){
            throw new Exception('Captura fallida: '.curl_error($ch)); }
        }
        return $output; }
    } finally {
        curl_close($ch); }
    }
}

// Ejemplo de llamada
$html = fetchWithProxy("https://target-site.com/product/123");

Seis consejos para esquivar los rastreadores

No basta con tener un agente, estos detalles siguen bloqueados si no se les presta atención:

Preguntas frecuentes

P: ¿Por qué se ha bloqueado mi proxy justo después de utilizarlo?
R: puede que haya utilizado la IP del centro de datos, cambie el agente residencial de ipipgo para intentar, simular el entorno real del usuario.

P: ¿Qué ocurre con el rastreo de páginas que requieren inicio de sesión?
A：Primero utiliza la IP fija para completar el inicio de sesión para obtener cookies y, a continuación, utiliza el grupo de proxy para realizar operaciones específicas.

P: ¿Cómo cobran los agentes de ipipgo?
R: Facturación flexible por tráfico y número IP, los nuevos usuarios obtienen 5 GB de tráfico de experiencia, ¡suficiente para probar durante un mes!

Juego de actualización: arquitectura de rastreo distribuido

Para grandes proyectos, se recomienda Redis + arquitectura multiproceso:

// Ejemplo de pseudo-código
$redis = nuevo Redis();
while($proxy = $redis->lpop('ipipgo_proxies')) {
    $pid = pcntl_fork();
    if ($pid == -1) {
        die('Fallo al crear subproceso');
    } elseif ($pid) {
        // Se sigue creando el proceso padre
    } else {
        // El proceso hijo realiza el fetch
        fetch_data($proxy);
        exit();
    }
}

Por último, te recordamos que utilices IPs proxy para cumplir con las reglas robots.txt de la web, para no hacer colgar el servidor. Puedes contactar directamente con el soporte técnico de ipipgo si encuentras algún problema, ellos tienen mucha experiencia en tratar problemas de anti-escalado.