PHP Web Crawling: Einfache Datenextraktion

Praktische Übungen mit PHP, um Ihnen die Nutzung der Webseite zur Datenerfassung beizubringen

Die Brüder, die sich mit Web-Crawling beschäftigen, wissen, dass viele Websites Anti-Climbing-Mechanismen eingebaut haben und dass das Schreiben eines Crawling-Skripts in PHP nicht durch die IP-Adresse blockiert werden kann.Dezentralisierung des Drucks auf die AnfragenWir werden uns darauf konzentrieren, wie man den Proxy-Dienst von ipipgo für diese Aufgabe nutzt.

So sieht die Grundversion des Crawl-Codes aus

Beginnen wir mit dem einfachsten Beispiel eines PHP-Crawlers, der keine Proxys verwendet:

$url = 'http://目标网站.com';
$html = file_get_contents($url); echo $html; $html = file_get_contents($url)
echo $html.

Diese Art von Schreiben wird innerhalb von drei Tagen blockiert, vor allem, wenn Sie sie häufig besuchen. Das ist so, als würde man jeden Tag dieselbe Handynummer benutzen, um Werbung zu verschicken, und früher oder später wird sie blockiert.

Der richtige Weg zur Eröffnung einer Proxy-IP

Ich zeige euch, wie man den Code mit dem Proxy von ipipgo umwandelt:

$proxy = '121.36.88.178:31152'; //aus dem ipipgo-Backend übernommen
$context = stream_context_create([
    'http' => [
        'proxy' => "tcp://$proxy",
        'request_fulluri' => true
    ]
]);
$html = file_get_contents('http://目标网站.com', false, $context);

Jetzt kommt der Clou: Vergessen Sie nicht, in das ipipgo-Backoffice zu gehen, um dieDynamischer IP-PoolOffen kann ihre IP-Überlebensdauer bis zu 3-6 Stunden betragen, viel zuverlässiger als die, die nach einer halben Stunde ablaufen.

Praktischer Leitfaden zur Vermeidung der Grube

Erfahrene Autofahrer

1. Sparen Sie das Geld für den Verkehr nicht. ipipgo.Paket zur mengenmäßigen AbrechnungBesonders geeignet für kleine Projekte
2. greifen E-Commerce-Preis dieser Hochfrequenz-Betrieb, denken Sie daran, das Intervall von mehr als 5 Sekunden eingestellt
3. bei Problemen mit SSL-Zertifikaten fügen Sie eineverify_peer=>falsevorübergehende Soforthilfe

Häufig gestellte Fragen QA

F: Was soll ich tun, wenn ich einen Proxy zur Verlangsamung verwende?
A: Ändern Sie ipipgo'sBGP Multi-line ServerraumDie gemessene Latenzzeit kann auf weniger als 200 ms reduziert werden.

F: Welches Agentenpaket sollte ich wählen?
A: die Testphase mit der Höhe der Zahlung, die offizielle Projekt direkt verpackt monatlich, sie kaufen ein halbes Jahr zu senden zwei Monate ist recht kostengünstig!

F: Was ist mit Seiten, die für das Rendering von JavaScript verarbeitet werden müssen?
A: Sie können mit Tools wie Puppeteer arbeiten, denken Sie daran, den ipipgo-Hintergrund einzuschaltenModus "Lange Sitzung

Tipps und Tricks für Fortgeschrittene

Fügen Sie einen Mechanismus zur Wiederholung von Fehlversuchen in den Code ein, der die Liste der alternativen IPs von ipipgo verwendet:

$proxies = ['111.22.33.44:1234','222.33.44.55:5678']; // mehrere IPs
foreach($proxies as $proxy){
    try {
        // Setzen Sie den vorherigen Proxy-Code hier ein
        break; } catch(Exception $proxies as $proxy) {
    } catch(Ausnahme $e) {
        continue; }
    }
}

Diese Routine kann die Erfolgsquote direkt verdoppelt, vor allem gegen die Anti-Klettern strenge Website, Pro-Test wirksam.