PHP parsing HTML: PHP proxy HTML parsing

Enseñanza práctica para jugar en PHP HTML parsing

Hermanos que participan en el desarrollo de la red entender, utilizar PHP para capturar datos web como comer fideos sin condimentos paquetes - siempre se siente casi interesante. Especialmente cuando se encontró con el mecanismo anti-escalada sitio web estricta, minutos de solicitud directa a prohibir. esta vez si el script PHP establece una IP proxy, al igual que con el juego para abrir el plug-in como, al instante mejorar la tasa de supervivencia.

¿Cómo se convirtió la IP proxy en un talismán?

Por ejemplo, si estás en un cibercafé y actualizas continuamente la página de un determinado producto, el administrador de la red te echará sin duda por revendedor. Pero si cada vez refrescas la página de un ordenador diferente, el administrador de red se confundirá. Proxy IP es el principio, dejar que el servidor piensa que cada solicitud es un usuario diferente en la operación.

// Versión básica de la petición curl
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "URL de destino");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$output = curl_exec($ch);

// La versión con el proxy añadido (usando el ejemplo del proxy de ipipgo)
$proxy = '123.123.123.123:8888'; // dirección proxy proporcionada por ipipgo
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP); // ipipgo proporciona la dirección proxy.

Práctica: utilización de la página de desmontaje DOMDocument

Después de obtener el código fuente de la página web, tenemos que invitar a la DOMDocument este desmontaje expertos. No mires su nombre es un farol, usarlo es casi tan simple como pelar una manzana.

// Cargar el contenido HTML con proxy fetching
$dom = nuevo DOMDocument();
@$dom->loadHTML($output); // ignorar el aviso de error de etiqueta

// Obtener todos los encabezados h1
$h1_list = $dom->getElementsByTagName('h1');
foreach ($h1_list as $item) {
    echo $item->nodeValue."";
}

¿Qué hacer cuando te verifiquen? Consejos para entrar en ipipgo

Algunos sitios web son tan engreídos que lanzan CAPTCHAs cuando ven visitas frecuentes. Este es el momento de utilizar la herramienta de ipipgosecreto único::

Escollos que suelen pisar los blancos (sesión de GC)

P: ¿Las IP proxy no funcionan cuando las utilizo?
R: ¡Un problema común con los proxies gratuitos! Se recomienda utilizar el paquete comercial de ipipgo, su detección de supervivencia IP esVotación en 5 minutosEstá firme como una roca.

P: ¿Qué debo hacer si el contenido analizado es confuso?
R: El 80% de las veces es un problema de codificación, añada esto después de la petición curl:
curl_setopt($ch, CURLOPT_ENCODING, 'gzip,deflate');

P: ¿Cómo puedo saber si un poder está en vigor?
R: Añade esto después de curl_exec:
echo curl_getinfo($ch, CURLINFO_PRIMARY_IP);
La IP mostrada debe ser una dirección proxy.

Técnicas Avanzadas: Combinación de Espada Doble

Usar el proxy pool de ipipgo junto con Simple HTML DOM tiene el efecto de tirar directamente:

include 'simple_html_dom.php';
// Obtener 10 proxies de ipipgo
$proxy_pool = ipipgo::get_proxies(10);

foreach ($proxy_pool as $proxy) {
    $html = file_get_html($url, false, $proxy);
    if($html) break; // salir del bucle en caso de éxito
}

Por último, me gustaría decir que la recogida de datos debe hacerse de forma marcial. Recurra a proveedores de servicios regulares como ipipgo para garantizar la estabilidad del negocio y evitar riesgos legales. Tienen una amplia selección de paquetes, y los nuevos abonados también pueden recibir3 días de prueba...mucho menos engorroso que echar a los agentes libres tú mismo.