PHPcurl Crawl: Beispiel für die Erfassung von Webseiten

Sie lernen, wie man mit PHPcurl+Proxy IP Daten von Hand sammelt

Wir tun Datenerhebung, die meisten Angst, die Website Anti-Climbing-Mechanismus zu erfüllen. Letzte Woche, ein E-Commerce-Freund suchte mich, sagte er PHPcurl verwendet, um die Sammlung Skript zu schreiben plötzlich gescheitert, die Website direkt auf seine IP für drei Tage gesperrt. Es ist nicht schwer, diese Angelegenheit zu lösen, heute werde ich diesen Fall zu nehmen, lernen Sie, wie man ipipgo Proxy-IP-Service verwenden, um mit Anti-Climbing umzugehen.

// Grundlegendes curl-Beispiel (dies wird früher oder später blockiert werden)
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "http://目标网站.com");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$output = curl_exec($ch);

Warum muss ich eine Proxy-IP verwenden?

Viele Websites werden geladenFlow Fingerprint Identification SystemEs ist wie die Sicherheitstür eines Supermarktes. Sie verwenden eine IP, um wiederholt zuzugreifen, gleichbedeutend mit der gleichen Person eine halbe Stunde in und aus dem Supermarkt 20 mal, die Sicherheitskräfte nicht auf Sie starren, um zu starren, wer? ipipgo Proxy-Pool haben8 Millionen + dynamische IPsDies ist gleichbedeutend mit der Vorbereitung zahlreicher "Westen" für Sie, so dass die Website nicht unterscheiden kann, wer wer ist.

Realitätsnahe Umgestaltung: IP-Rüstung für Locken

Nehmen Sie das Skript, das gerade blockiert wurde, und wandeln Sie es in drei wichtigen Schritten um:

// Holen Sie sich den Proxy von ipipgo (achten Sie darauf, dass Sie Ihren eigenen API-Schlüssel ersetzen)
$proxy = file_get_contents("https://api.ipipgo.com/getproxy?key=你的密钥");

// Konfigurieren Sie die Curl-Proxy-Parameter
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP); curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP)
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10); curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);

// Wichtig! Vergessen Sie nicht, einen Fehler-Wiederholungsversuch hinzuzufügen
if(curl_errno($ch)){
    $proxy = file_get_contents("https://api.ipipgo.com/report?proxy=".$proxy); // meldet die fehlgeschlagene IP.
    // Proxy abrufen, um die Ausführung fortzusetzen...
}

Achten Sie auf Schlaglöcher:Versuchen Sie nicht, sich den Ärger zu ersparen, indem Sie die Proxy-IP im Code zu Tode schreiben, sondern stellen Sie sicher, dass Sie eine dynamische Erfassung verwenden. Die API von ipipgo unterstützt das Filtern von IPs nach Region und Betreiber, Sie können diese Funktion verwenden, wenn Sie grenzüberschreitend sammeln.

Tipps zur Verbesserung der Erhebungseffizienz

(1) Multi-Thread-Erfassung, jeder Thread sollte mit einem unabhängigen Proxy ausgestattet sein, nicht zulassen, dass mehrere Anfragen dieselbe IP-Adresse verwenden.
2. willkürlich eingestellte Anforderungsintervalle, kein pünktlicher Besuch wie bei einem Wecker.
3. versuchen Sie nicht, ein Captcha zu erhalten, wechseln Sie über ipipgo zu einer neuen IP und versuchen Sie es erneut.
4. löschen Sie regelmäßig die Cookies, lassen Sie die Website nicht das Verhalten verfolgen

// Skript zur zufälligen Verzögerung (in Sekunden)
sleep(rand(1,5) + mt_rand(0,3000)/1000);

Häufig gestellte Fragen QA

F: Was sollte ich tun, wenn meine Proxy-IP plötzlich ausfällt?
A: Fügen Sie einen Meldemechanismus in den Curl-Fehler-Callback ein. Das System von ipipgo wird die Problem-IP automatisch ausschließen, wenn es eine Rückmeldung erhält.

F: Wie kann ich feststellen, ob eine Vollmacht in Kraft ist?
A: Drucken Sie curl_getinfo($ch, CURLINFO_PRIMARY_IP) nach curl_exec um zu sehen, ob sich die Ausgabe-IP geändert hat

F: Wie viele Proxy-IPs werden pro Tag benötigt?
A: Je nach Geschäftsvolumen sind in der Regel 200-300 Anfragen pro IP und Stunde sicherer. Die Pakete von ipipgo reichen von Tagesmieten bis zu Monatspaketen, und neue Nutzer erhalten 5000 Test-IPs.

Abschließend möchte ich Sie daran erinnern, dass Sie bei der Datenerfassung das Protokoll der Website-Roboter beachten sollten. Der Einsatz des ipipgo-Proxy-Dienstes dient nicht der Sabotage, sondern der reibungsloseren Erfassung der Daten. Ich habe einmal einem Kunden geholfen, ein Preisvergleichssystem einzurichten. Nachdem ich den dynamischen Agenten eingesetzt hatte, stieg die Erfolgsquote der Datenerfassung von 47% direkt auf 98% an, der Effekt ist sofort sichtbar.