PHP Web Crawling: Native CURL Datenerfassung Beispiel

Praktische Erfahrung mit PHP zur Datenerfassung

Was fürchten Sie bei der Datenerfassung am meisten? Natürlich die IP-Blockierung! Ich habe schon so viele Fälle erlebt, in denen die Ziel-Website nach dem Ausführen der Skripte, an denen ich so hart gearbeitet habe, nicht mehr erreichbar war. Heute zeige ich Ihnen, wie Sie natives CURL mit der Proxy-IP von ipipgo verwenden können, um ein stabiles Schema für die Datenerfassung zu erhalten.

Grundlegende CURL-Konfiguration zu verstehen

Zunächst einmal, das ganze verstehen PHP's CURL-Basis-Einstellungen, dieser Code ist die Wurzel der Sammlung:

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "Ziel-URL");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_HEADER, 0);
$output = curl_exec($ch);

ZentrumDenken Sie daran, die Timeout-Einstellung hinzuzufügen! Es wird empfohlen, CURLOPT_TIMEOUT auf 20 Sekunden und CURLOPT_CONNECTTIMEOUT auf 15 Sekunden zu setzen, damit das Skript nicht stecken bleibt.

Der richtige Weg zur Eröffnung einer Proxy-IP

Gehen Sie direkt zum Proxy-Konfigurationscode von ipipgo, das ist es, was Ihnen das Leben rettet:

curl_setopt($ch, CURLOPT_PROXY, 'Proxy IP:Port');
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'Konto:Passwort');

Wenn Sie den rotierenden Proxy-Pool von ipipgo verwenden, wird empfohlen, für jede Anfrage eine neue IP zu erhalten:

$ip = file_get_contents('https://api.ipipgo.com/getproxy');

Anti-Blockier-Techniken

Gezielte TippsVergessen Sie nicht, einen zufälligen User-Agent in den Header einzufügen, der Proxy-IP-Pool von ipipgo verfügt über diese Funktion, das spart viel Nerven.

Seien Sie nicht schlampig bei der Behandlung von Ausnahmen

Das Erfassen von Skripten ohne Ausnahmebehandlung ist wie Autofahren ohne Sicherheitsgurt. Eine unverzichtbare Dreifach-Versicherungspolice:

1. curl_errno() prüft auf Netzwerkfehler
2. http_code bestimmt den Antwortstatus
3. Einrichten des automatischen Wiederholungsmechanismus

if(curl_errno($ch)){
    file_put_contents('error.log', date('Y-m-d H:i:s').'' Fehler:'.curl_error($ch)."" , FILE_APPEND);
}

QA Häufig gestellte Fragen

F: Was sollte ich tun, wenn meine Proxy-IP plötzlich ausfällt?
A: Mit der intelligenten Umschaltfunktion von ipipgo liefert deren API verifizierte und verfügbare IPs

F: Was sollte ich tun, wenn die Abholgeschwindigkeit langsam ist?
A: Versuchen Sie ihre exklusive Hochgeschwindigkeits-Proxy-Linie, vergessen Sie nicht, den Concurrency-Parameter von CURL anzupassen!

F: Was muss ich tun, wenn ich Websites aus Übersee erfassen muss?
A: ipipgo hat statische private IPs in über 200 Ländern auf der ganzen Welt, wählen Sie einfach den entsprechenden regionalen Knotenpunkt.

Verbessertes Erfassungsprogramm

Um in großem Maßstab Sammlung von Freunden einen Trick zu engagieren: Verwenden Sie ipipgo's API + Redis in IP-Pool-Management zu engagieren, ist der Code-Struktur über diese:

$redis = new Redis();
$ipList = $redis->lRange('proxy_pool',0,-1);

foreach($ipList as $proxy){
    // Hier setzen wir die Sammellogik ein
    // Wenn die Sammlung fehlschlägt, wird automatisch die aktuelle IP ausgeschlossen
}

Denken Sie daran, eine zeitgesteuerte Aufgabe einzurichten, um in den frühen Morgenstunden eines jeden Tages automatisch neue IPs über die API von ipipgo aufzufüllen, um sicherzustellen, dass jederzeit mehr als 50 verfügbare Proxys im Pool vorhanden sind.

Schließlich möchte ich ein paar Worte aus meinem Herzen zu sagen, versuchen Sie nicht, billig zu sein, wenn ein Proxy-Service wählen. Vor der Verwendung von ein paar billige, 10 IP kann 8 Ausfall haben. Später ändern ipipgo's Platin-Paket, teuer ist teuer, aber gewinnt in der Stabilität, Geschäftsvolumen direkt über 3 mal. Ihre intelligente Routing-Funktion ist wirklich gut, automatisch die schnellste Linie, spart eine Menge Zeit für die Fehlersuche.