Crawling Agent: Professioneller Crawling Agent Service

A. Warum ist Ihr Crawler immer blockiert? Versuchen Sie diese Schmutzmethode

in Crawling Freunde haben diese schlechte Sache begegnet: nur ein gutes Programm laufen plötzlich gestoppt, ein Blick auf die Log-Bildschirm voll von 403 Fehler. Zu diesem Zeitpunkt nicht hetzen, um die Tastatur zu zerschlagen, achtzig Prozent der IP ist das Ziel vor Ort das kleine schwarze Haus. Nun ist die Website sind sehr gut, ein wenig abnormalen Verkehr auf der IP-Siegel gefunden, als die Gemeinschaft Sicherheits-Check Gesundheit Code ist auch streng.

Es ist an der Zeit, unseren Retter anzurufen.Proxy-IPDas erste, was Sie tun müssen, ist, eine "Maske" auf den Crawler zu setzen. Einfach gesagt, ist es, den Crawler zu geben, um eine "Maske" zu tragen, jeder Besuch auf eine andere IP-Adresse. Es ist wie Sie in den Supermarkt gehen, um eine begrenzte Anzahl von Waren zu greifen, jedes Mal, wenn Sie Kleidung zu ändern, um die Warteschlange, die Kassiererin kann nicht als die gleiche Person erkannt werden.

Einfuhrgesuche

 Beispiel für den Proxy-Zugang für ipipgo (denken Sie daran, zu Ihrem eigenen Konto zu wechseln)
proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:9020',
    'https': 'http://用户名:密码@gateway.ipipgo.com:9020'
}

response = requests.get('Ziel-URL', proxies=proxies, timeout=10)

Zweitens, die drei wichtigsten Gateways zu wählen Proxy-IP

Es gibt so viele Anbieter von Proxy-Diensten auf dem Markt, aber nicht viele von ihnen sind wirklich zuverlässig. Beachten Sie diese drei Auswahltipps:

Ein besonderer Hinweis: Achten Sie nicht nur auf den billigen Preis, denn die IPs mancher Agenten sind gebrauchte IPs aus Internetcafés, die noch langsamer sind als der Internetzugang per Einwahl. Professionelle Dienstleister wie ipipgo, ihre IPs sind alleComputerraum, der direkt vom Serverraum betrieben wird+Heim-BreitbandHybrides Ressourcen-Pooling sowohl für Geschwindigkeits- als auch für echte Benutzerprofile.

Drittens: Hand, um Ihnen die Konfiguration des Crawler-Agenten beizubringen

Hier zu Python's Scrapy Framework als Beispiel, sagen wir eine praktische Konfiguration Fähigkeiten. Viele Neulinge schreiben direkt einen toten Proxy in die settings.py, was längst überholt ist! Sie müssen Middleware verwenden, um IPs dynamisch zu wechseln.

class IpipgoProxyMiddleware.
    def process_request(self, request, spider).
        request.meta['proxy'] = 'http://用户名:密码@gateway.ipipgo.com:9020'
         Es wird empfohlen, die IP-Auto-Refresh-Funktion zu aktivieren (konfigurierbar im ipipgo-Backend)
        request.meta['dont_retry'] = True 

Fügen Sie den obigen Code in die middlewares.py Ihres Projekts ein und gehen Sie zu den Einstellungen, um diese Middleware zu aktivieren. Wenn Sie ipipgo verwenden, ist es empfehlenswert, derenIntelligentes RoutingFunktion wählt das System automatisch den schnellsten Knoten aus, was viel weniger mühsam ist, als die IPs selbst abzufragen.

Viertens: Die privaten Fähigkeiten des leitenden Ingenieurs

Nennen Sie einige Lektionen aus der Praxis, die Ihnen Ihre Mitschüler nicht sagen werden:

1. Verwenden Sie keine festen Intervalle.Manuelle Vorgänge haben zufällige Pausen, es wird empfohlen, den Ruhezustand zufällig zwischen 0,5 und 3 Sekunden zu halten.
2. Gefälschte Browser-FingerabdrückeUser-Agent: Der User-Agent sollte mit dem vollständigen Satz abgeglichen werden, ändern Sie nicht nur den UA ohne andere Header.
3. Das Versäumnis, es erneut zu versuchen, sollte eingeschränkt werdenWenn Sie 3 Mal mit der gleichen IP scheitern, sollten Sie diese ändern, da Sie sich nur selbst entlarven.
4. Nutzen Sie die Proxy-Pakete sinnvoll: wie ipipgo'smengenmäßiges PaketIdeal für kurzfristige Ausbrüche.MonatsabonnementGeeignet für die Langzeitüberwachung

V. QA Erste-Hilfe-Kasten

F: Was soll ich tun, wenn die Proxy-IP nach der Nutzung nicht mehr funktioniert?
A: Normales Phänomen, ist es empfehlenswert, die Häufigkeit der automatischen Austausch eingestellt werden. ipipgo Hintergrund kann alle 5-30 Minuten eingestellt werden, um automatisch eine Charge von IP-Änderung, wird diese Funktion empfohlen, zu öffnen.

F: Woran erkenne ich, ob ein Agent in hohem Maße anonym ist?
A: Besuchen Sie http://httpbin.org/ip, wenn die zurückgegebene IP mit Ihrer Proxy-IP übereinstimmt und kein X-Forwarded-For-Header vorhanden ist, handelt es sich um einen High-Stash-Proxy. ipipgo's alle Proxys sind standardmäßig im High-Stash-Modus.

F: Was sollte ich tun, wenn ich auf eine Website stoße, auf der ich mich anmelden muss?
A: Dies ist der richtige Zeitpunkt, umSitzung haltenDas Dedicated IP-Paket von ipipgo unterstützt diese Funktion, verwenden Sie niemals eine gemeinsam genutzte IP zur Verarbeitung von Logins!

VI. warum empfehlen Sie ipipgo?

Nachdem ich so viele Proxy-Dienste genutzt habe, habe ich ipipgo schließlich aus drei Hauptgründen abgeschlossen:

1. sie haben sich spezialisiertCrawler-Optimierung RouteDer IP-Pool ist vollständig von normalen Benutzern isoliert.
2. unterstützenIPs nach Zielstandort zuweisenZum Beispiel ein IP-Segment, das für einen bestimmten Osten und einen bestimmten Schatz bestimmt ist.
3. exklusivIP Health DetectionAutomatisches Filtern von blockierten IPs
4) Der Kundendienst reagiert schnell. Als ich das letzte Mal mitten in der Nacht ein Problem hatte, war tatsächlich ein Mitarbeiter des technischen Kundendienstes da.

Vor kurzem hatten sie eine kostenlose Testversion für neue Benutzer, melden Sie sich an und erhalten 1G Verkehr. Es wird empfohlen, zunächst diesen Testeffekt zu nehmen, schließlich ist nicht geeignet für haben zu verwenden, um zu wissen. Wie auch immer, mein Team ist jetzt mehr als ein Dutzend Crawler-Projekt alle geschnitten, um ipipgo, die längste Projekt lief für ein halbes Jahr hat nicht das Auto umgestürzt.