PHP Web Crawling Tutorial: CURL Capture Erste Schritte

PHP Fangdaten werden immer blockiert? Versuchen Sie diesen Trick

Kürzlich fragte mich viele Brüder, um PHP-Curl verwenden, um Daten zu erfassen ist immer das Ziel Website blockiert IP, ängstlich, direkt auf die Füße zu springen. Dies ist etwas, was ich auch vor drei Jahren begegnet, und später festgestellt, dass die Verwendung von Proxy-IP ist wie das Programm zu geben, eine Weste zu tragen, heute zu den Jungs, um die Tür zu brechen.

Herausfinden, was es mit Proxy-IPs auf sich hat

Proxy-IP ist gleichbedeutend mit Ihrem Netzwerk-Anfrage, um einen Ersatz-Schauspieler zu finden, wie wenn Sie in den Supermarkt gehen, um Zigaretten zu kaufen sind immer vom Chef erkannt, ändern Sie einen Freund, um Ihnen zu helfen, gehen Sie auf sie zu kaufen. Es gibt drei Arten von Proxys auf dem Markt:

Transparenter Proxy - das Äquivalent zu einem Freund, der sich selbst ankündigt (und seine echte IP preisgibt)
Anonymer Proxy - der Freund geht allein, trägt aber Ihre Kleidung (versteckt die IP, hat aber Proxy-Funktionen)
Hochanonymer Proxy - der Freund ist komplett als Passant getarnt (empfohlen)

Das ist der springende Punkt! Du musst den Service deines Agenten auswählen.ipipgoDiese Art von spezialisierten hohen Stash von Agenten, ihre Heimat IP-Pool ist groß, jede Anfrage zufällig das Pferd Rüstung zu ändern, kann das Ziel vor Ort einfach nicht das Gesetz fühlen.

Hier erfahren Sie, wie Sie einen Proxy für curl einrichten.

Nehmen Sie die Erhebung des Preises für eine E-Commerce-Plattform, zum Beispiel, nicht den Code des Agenten ist lang wie diese:

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "https://目标网站.com");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$output = curl_exec($ch);

obendreinipipgoPost-Agentur:

// Proxy-Informationen aus dem ipipgo-Backend
$proxy = '123.123.123.123:8888';
$auth = 'benutzername:passwort';

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "https://目标网站.com");
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYUSERPWD, $auth); curl_setopt($ch, CURLOPT_PROXYUSERPWD, $auth);
curl_setopt($ch, CURLOPT_TIMEOUT, 10); // eine kurze Zeitspanne für den Timeout setzen

Beachten Sie, dass Sie Benutzernamen und Passwort durchipipgoÜber das Backend erhalten Sie Authentifizierungsinformationen, und die Proxy-Verifizierungsmethode ist besonders einsteigerfreundlich.

Leitfaden zur Vermeidung der Grube: 5 häufige Fehler, die Neulinge machen

1. wiederholt verwendete Proxy-IP: dieselbe IP, die ständig angefordert wird, kann leicht identifiziert werden; es wird empfohlen, dass jede Anforderung für eine andere IP
2. die Zeitüberschreitung ist zu lang eingestellt: es wird empfohlen, dass sie innerhalb von 10 Sekunden liegt, und wenn sie 10 Sekunden überschreitet, sollte die nächste IP-Adresse geändert werden.
3. vergessen Sie die Ausnahmebehandlung: nach curl_exec prüfen, ob $output null ist
4. der UA-Header ist nicht getarnt: denken Sie daran, den üblichen Browser-UA mit curl_setopt zu setzen
5) HTTPS-Zertifikate ignorieren: Fügen Sie diese Zeile hinzu, um Probleme bei der Zertifikatsvalidierung zu vermeiden.

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);

Praktische QA: Sie fragen, ich antworte

F: Was kann ich gegen die langsame Proxy-IP-Geschwindigkeit tun?
A: Bevorzugtipipgo的国内BGP线路，实测能控制在200ms内

F: Wie überprüfe ich, ob der Agent wirksam ist?
A: Besuchen Sie http://httpbin.org/ip, um zu sehen, ob die zurückgegebene IP eine Proxy-IP ist.

F: Was soll ich tun, wenn ich einen 403-Fehler erhalte?
A: drei Schritte: 1. prüfen, ob die IP blockiert ist 2. den User-Agent ändern 3. die Abholfrequenz reduzieren

Upgrade Play: Automatischer Wechsel der IP-Pools

Kosten oder AufwandipipgoAPI, um IPs dynamisch zu erhalten, ein Skript zur IP-Pool-Verwaltung erhalten:

// Abrufen des IP-Pools
$ip_list = json_decode(file_get_contents('https://api.ipipgo.com/getips?num=20'));

// Eine zufällige IP auswählen
$rand_key = array_rand($ip_list);
$current_ip = $ip_list[$rand_key]['ip'].' :'.$ip_list[$rand_key]['port'];

Es wird empfohlen, die IP alle 5 Mal der Sammlung zu ändern, mit Multi-Threading kann die Effizienz um das 10-fache verbessern. Aber achten Sie auf die Anti-Climbing-Strategie der Zielseite, damit die Server der anderen nicht hängen bleiben.

Schließlich nörgeln ein Wort, wählen Sie den Proxy-Dienst nicht gierig nach billig, vor der Verwendung eines kostenlosen Proxy, das Ergebnis der Sammlung von Daten sind alle Phishing-Sites in der Werbung eingefügt. Jetzt verwendenipipgoDie Stabilität des exklusiven IP-Pakets ist wirklich top, und der Kern des Projekts ist solide.