PHP-Crawling-Technologie: Proxy-IP zur Verbesserung der Fähigkeit zur Erfassung von Webseiten

Crawler sind immer blockiert IP, versuchen Sie diesen Trick, um Ihr Leben zu retten!

Do Datenerfassung des alten Treibers zu verstehen, die meisten Kopfschmerzen ist die Ziel-Site plötzlich geschlossen IP. vor zwei Tagen, ein E-Commerce-Preisvergleich von Freunden und ich spucken, nur eine halbe Stunde Programm IP wurde auf der schwarzen Liste laufen. In der Tat, diese Sache wirklich nicht die Schuld der Website hart, häufige Anfragen, die nicht tragen kann. Dies ist die Zeit zuProxy-IPAuf, um den Tag zu retten.

Proxy IP am Ende, wie man die zuverlässige

Es gibt eine Vielzahl von Proxy-Anbietern auf dem Markt, aber es ist wichtig, den richtigen Typ zu wählen. Hier ist eine Vergleichstabelle für Sie:

Empfohlen für die direkte VerwendungHochversteckter Proxy für ipipgoDie IP-Pool ihrer Familie jeden Tag aktualisiert 200.000 +, kann die gemessene Anfrage Erfolgsquote 98% werden. besonders geeignet für die Notwendigkeit für eine lange Zeit hängen Sammlung der Situation, fragen Sie mich nicht, wie zu wissen, sowieso, kletterte ich ein Ost-Ware Daten mit seiner Familie IP stabil eine Charge.

Handlicher PHP-Zugangs-Proxy

Nimmt man die am häufigsten verwendete cURL-Bibliothek als Beispiel, ist das Hinzufügen des Proxy-Parameters eigentlich sehr einfach. Sehen Sie sich diesen Code an:

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'Ziel-URL');
curl_setopt($ch, CURLOPT_PROXY, 'ipipgo's proxy server address:port'); curl_setopt($ch, CURLOPT_PROXY, 'ipipgo's proxy server address:port');
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'Benutzername:Passwort'); curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'Benutzername:Passwort');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$output = curl_exec($ch);
curl_close($ch).

Beachten Sie, dass Sie die Proxy-Adresse in die Adresse ändern müssen, die Sie in deripipgoDas Backend erhält exklusiven Zugriff. Sie gaben fertige Code-Beispiele in dem Dokument, direkt kopieren und einfügen, um die Parameter auf der Linie zu ändern. Es wird empfohlen, die Timeout-Zeit ist nicht zu lang, etwa 30 Sekunden ist besser geeignet.

Praktischer Leitfaden zur Vermeidung der Grube

Einige Websites werden die Proxy-Merkmale in der Anfrage-Header zu erkennen, hier, um Ihnen einen Aufruhr Betrieb zu lehren: die Via-Parameter in der Anfrage-Header zu löschen sauber, und verwenden Sie dann ipipgo, um eine zufällige UA-Generator bieten. Getestet, um 90% Anti-Climbing-Erkennung zu umgehen.

Denken Sie auch daran, einen Mechanismus zur Wiederholung von Fehlversuchen einzurichten, der IP-Pool Polling-Modus wird empfohlen. Zum Beispiel:

$proxyList = ['IP1:PORT','IP2:PORT','IP3:PORT']; //IP-Pool von ipipgo
$maxRetry = 3;

for($i=0; $i<$maxRetry; $i++){
    try{
        //Initiieren Sie die Anfrage mit $proxyList[$i].
        break;
    }catch(Exception $e){
        // Aufzeichnung des Fehlerprotokolls
    }
}

Häufig gestellte Fragen QA

F: Verlangsamt Proxy-IP die Geschwindigkeit?
A: Es ist wichtig, den richtigen Dienstanbieter zu wählen! Wie beim BGP-Line-Agent von ipipgo wird die Verzögerung grundsätzlich innerhalb von 200 ms kontrolliert, was mehr als 10 Mal schneller ist als bei einigen kostenlosen Agenten.

F: Was ist, wenn die Website immer noch feststellt, dass ich einen Proxy verwende?
A: Versuchen Sie die dynamische Portfunktion, bei jeder Anfrage wird der Port automatisch geändert. Wenn Sie das nicht können, verwenden Sie ihre API, um die neueste IP in Echtzeit zu erhalten, es funktioniert.

F: Wie wählt man einen zuverlässigen Vermittlungsdienstleister aus?
A: konzentrieren sich auf drei Punkte: 1. IP Überlebenszeit 2. gleichzeitige Verbindung Grenze 3. nach dem Verkauf technische Unterstützung. Wie ipipgo wie 24-Stunden-Support, können Probleme in einer fristgerechten Weise gelöst werden.

Abschließend möchte ich Neulinge daran erinnern, keine kostenlosen Proxys zu verwenden, da dies zu Datenlecks oder Rückverfolgung führen kann. Überlassen Sie die professionellen Dinge den professionellen Tools.ipipgoMit dem Einsteigerpaket von 50 Cent pro Tag können kleine und mittelgroße Sammelbedürfnisse abgedeckt werden, was wesentlich unkomplizierter ist als der Aufbau eines eigenen Agentenpools.