pyspider ip proxy settings: Python crawler configuration proxy IP detaillierte Anleitungen

Praktische Erfahrung mit pyspider zum Aufhängen von Proxies

Crawler Brüder verstehen, dass kein Proxy-IP ist wie nackt im Internet laufen, Minuten von der Ziel-Website, um die schwarze ziehen. Heute sprechen wir nicht über falsche, direkt auf die trockenen Waren, um Ihnen beizubringen, wie man den Proxy in der pyspider konfigurieren, mit Schwerpunkt auf, wie man ipipgo Proxy-Service verwenden, um den Frieden zu halten.

Warum wollen Sie einem Reptil eine Weste anziehen?

Um eine Kastanie zu geben, gehen Sie jeden Tag zum Kiosk, um Zigaretten zu kaufen, der Chef zu sehen, das Gesicht vertraut zu vermuten, dass Sie ein Second-Hand-Händler sind. Proxy-IP ist es, den Crawler zu geben, um die Weste zu ändern, so dass die Website denkt, dass jeder Besuch eine andere Person ist. Vor allem bei groß angelegten Datenerhebungen wird die IP blockiert, wenn Sie keinen Proxy haben, oder das ganze Projekt wird lahmgelegt.

Drei Schritte zur pyspider proxy Konfiguration

Das Hinzufügen von Proxies zu den Crawler-Skripten von pyspider ist eigentlich recht einfach, es geht nur darum, den richtigen Ort zu finden. Erinnern Sie sich an den Hauptort:Der Parameter fetch_type der Methode self.drawl().

pyspider importieren
from pyspider.libs.base_handler import

class MySpider(BaseHandler).
    def on_start(self).
        self.crawl('http://目标网站.com',
                   callback=self.index_page, fetch_type='js
                   callback=self.index_page, fetch_type='js', proxies={"http":
                   proxies={"http": "http://账号:密码@proxyIP:port",
                           "https": "https://账号:密码@proxyIP:port"})

Hier gibt es zwei Schlaglöcher, auf die Sie achten sollten:

1. Wenn Sie das Socks5-Protokoll verwenden, müssen Sie dasAnfragen[Socken]dieses Paket
2. Denken Sie daran, urllib.parse zu verwenden, wenn das Kennwort Sonderzeichen enthält.

Praktische Fähigkeiten des Proxy-Pools

Ein einzelner Proxy kann leicht identifiziert werden, es wird empfohlen, eine Proxy-Pool-Rotation einzurichten. Verwenden Sie die API-Extraktionsschnittstelle von ipipgo, um automatisch jede Stunde eine Reihe von IPs zu ändern:

Einfuhrgesuche

def get_proxies(): api_url = "
    api_url = "https://ipipgo.com/api/get_proxy?type=动态住宅&count=50"
    resp = requests.get(api_url).json()
    return [f "http://{item['ip']}:{item['port']}" for item in resp['data']]

 Laden des Agentenpools bei der Initialisierung des Crawlers
class MySpider(BaseHandler).
    def __init__(self).
        self.proxy_pool = get_proxies()
        self.current_proxy = 0

    def get_proxy(self).
        proxy = self.proxy_pool[self.current_proxy % len(self.proxy_pool)]
        self.current_proxy += 1
        return {"http": proxy, "https": proxy.replace('http','https')}

Leitfaden zur Vermeidung der Grube (gemeinsame QA)

Warum empfehlen Sie ipipgo?

Der Agenturservice in den eigenen vier Wänden, um nur ein paar echte Vorteile zu nennen:

• Dynamische Wohn-IPSieben Dollar und siebenundsiebzig Cents.Sie erhalten 1G Traffic für weniger Geld als ein Getränk.
• Wenn Sie mit CAPTCHAs bombardiert werden, wechseln Sie zu ihrer TK-Linie und Sie werden sofort Ergebnisse sehen!
• Der Kundendienst reagiert schneller als der Lieferjunge, der letzte 3:00 Uhr morgens, um den Arbeitsauftrag zu erwähnen, tatsächlich Sekunden zurück!

Anfänger werden empfohlen, dynamische Wohn (Standard-Version) zu verwenden, um das Wasser zu testen, das Geschäftsvolumen direkt auf die Enterprise-Version. Unterschätzen Sie nicht die 2 Yuan Unterschied, Enterprise-Version der mehr IP Überlebensgarantie, der kritische Moment nicht von der Kette fallen.

Sagen Sie etwas, das von Herzen kommt.

Proxy IP diese Sache ist wie der Kauf einer Versicherung, in der Regel denken, Geldverschwendung, wenn wirklich blockiert IP Zeit zu weinen kann nicht kommen. Ich habe gesehen, zu viele Menschen verwenden kostenlose Proxys für billig, und als Ergebnis ist die ganze Bibliothek auf halbem Weg durch die Datenerhebung verschmutzt. Denken Sie daran, zuverlässige Proxy-Service ist das Lebenselixier der Crawler, speichern Sie nichts kann dies nicht retten.