Crawler Proxy Server: Crawler Proxy Server Tutorial

Setzen Sie Ihren eigenen Crawler-Agentenpool in die Tat um!

Die Brüder, die sich mit Crawling beschäftigen, wissen, dass der Anti-Climbing-Mechanismus der Website jetzt immer unbarmherziger wird. Gestern konnte man das Programm ausführen, heute kann man zu Tode blockiert werden. Diesmal brauchen Sie einen Proxyserver, umGefälschte echte IPDies lässt die Zielseite glauben, dass jede Anfrage von einer anderen Person bearbeitet wird.

Es gibt viele fertige Proxy-Dienste auf dem Markt, aber es ist flexibler und erschwinglicher, einen eigenen zu erstellen. Hier zeigen wir Ihnen, wie Sieipipgo Dynamischer Wohnsitz-ProxyBei einer Live-Demo ist der Ressourcenpool so groß, dass die Wahrscheinlichkeit, blockiert zu werden, viel geringer ist.

Seien Sie nicht schlampig in der Vorbereitung.

Zunächst bereiten Sie eine Cloud-Server (1 Kern 2G genug), das System empfohlen CentOS7. beachten Sie, dass die Auswahl derÜberseeische KnotenpunkteDie wichtigste Sache zu erinnern ist, dass inländische Server sind anfällig für von der Vereinigung verboten werden. Hier ist eine Grube zu erinnern: nicht kaufen, die gemeinsame IP Web-Hosting billig, müssen Sie unabhängige IP-Cloud-Server verwenden.

 Installieren Sie die Basiswerkzeuge
yum install -y gcc python3-devel
pip3 proxypool installieren

Vier Schritte zu einem praktischen Gebäude

1. gehen Sie auf die offizielle Website von ipipgo, um ein Konto einzurichten, und wählen SieDynamic Residential (Standard) Paket$7+ 1G Traffic ist genug für Tests. Finden Sie die API-Extraktion Link im Backend, es sieht aus wie diese:

https://api.ipipgo.com/get?key=你的密钥&count=20

2. das Proxy-Pool-Programm konfigurieren (hier mit der Open-Source-Transformation proxypool):

 Ändern Sie config.py
API_URL = 'Der API-Link, den Sie oben erhalten haben'.
VALID_CHECK_INTERVAL = 60 Verfügbarkeit jede Minute prüfen

3. starten Sie den Dienst und denken Sie daran, den Firewall-Port zu öffnen:

firewall-cmd --add-port=5032/tcp --permanent
systemctl neu starten firewalld
nohup python3 main.py > /dev/null 2>&1 &

4. rufen Sie den Proxy-Pool im Crawler-Code auf:

import requests
def get_proxy(): return requests.get("").json().get("proxy")
    return requests.get("http://你的服务器IP:5032/get").json().get("proxy")

 Beispiel für die Verwendung
resp = requests.get(url, proxies={"http":get_proxy()})

Siehe hier für Tuning-Tipps

- stoßen403 FehlerKeine Panik, gehen Sie zu ipipgo und wechseln Sie hinter die Bühne.Socks5-Protokollausprobieren
- In Szenarien mit hoher Parallelität wird ein Upgrade aufEnterprise Edition Dynamischer Wohnbau9 mehr als 1G zur Unterstützung höherer Gleichzeitigkeit
- Automatischer Neustart von Proxy-Pool-Skripten um 3 Uhr morgens zur Vermeidung von Speicherlecks
- Wenn Sie europäische und amerikanische Websites sammeln, fügen Sie den API-Link zum&country=usausgewiesene Fläche

Leitlinien zur Minenräumung bei gemeinsamen Problemen

F: Was soll ich tun, wenn die Überlebenszeit der Proxy-IP zu kurz ist?
A: Stellen Sie das Erkennungsintervall auf 30 Sekunden ein, und schalten Sie gleichzeitig die ipipgo-Hintergrundfunktion ein.Langfristiges Modell(Firmenpakete erforderlich)

F: Was ist, wenn ich für die Anmeldung eine feste IP benötige?
A: Wechsel zu $35/MonatStatische IP-Adresse des WohnsitzesDie IP kann volle 30 Tage lang genutzt werden.

F: Die von der API zurückgegebene IP ist nicht verfügbar?
A: Überprüfen Sie zuerst die Whitelist-Einstellungen, ipipgo muss die Server-IP für den Aufruf der API binden

Warum ipipgo?

ihreTK Line AgentDo grenzüberschreitenden E-Commerce-Datenerhebung ist besonders stabil, bevor ein Freund zu tun, unabhängige Station, mit diesem Programm zu 300.000 täglichen Daten zu sammeln wurde nicht geschlossen. Der Schlüssel ist die schnelle Reaktion des Kundendienstes, die letzte Mitternacht technische Probleme auftreten, tatsächlich 10 Minuten auf Remote-Unterstützung, um es zu tun.

Schließlich möchte ich daran erinnern, Neulinge: nicht laufen große Datei-Downloads auf Proxy-Servern! Es gibt einen Kumpel, der den Proxy-Pool unter den Film nimmt, 1 Stunde, um den Paketverkehr zu verbrauchen, diese Operation Blutverlust. Do sammeln, um die Anfrage Häufigkeit zu kontrollieren, mit User-Agent zufällig ist der König.