Python Web Crawler: Python Web Crawler Essential Proxy IP Settings Tutorial

Die Hardcore-Operation, einen Crawler in eine Tarnkappe zu hüllen

Crawler wissen, dass ohne einen Proxy-IP ist wie nackt im Internet laufen, eine Minute durch die Website Verbot in einen Hund. Vor kurzem fragte viele Brüder, wie man Python Crawler Suite Tarnung, heute werden wir brechen, um über diese Angelegenheit zu sprechen.

Was zum Teufel ist mit Proxy-IPs los?

Einfach ausgedrückt, geht es darum, einen Mittelsmann zu finden, der Ihnen bei der Übermittlung der Daten hilft, so als ob Sie einen Imbiss bestellen und den Fahrer das Essen in Ihrem Namen abholen lassen. Hier ist einer.KruxProxys für Privatpersonen sind am ehesten mit echten Menschen vergleichbar, die im Internet surfen. Proxys für Rechenzentren sind leicht zu identifizieren, siehe diese Tabelle für den Unterschied:

Praktische Konfiguration von Agenten

Hier ist ein Fuchs, der die API von ipipgo benutzt, um das Wasser mit der ganzen dynamischen IP zuerst zu testen:

Einfuhrgesuche

def get_proxy().
     Füllen Sie den Link zu der von ipipgo bereitgestellten API aus.
    api_url = "https://api.ipipgo.com/getproxy"
    return requests.get(api_url).text

proxies = {
    'http': f'http://{get_proxy()}',
    'https': f'http://{get_proxy()}'
}

resp = requests.get('Zielsite', proxies=proxies)

beachtenIP für jede Anfrage ändernLassen Sie sich nicht auf eine IP ein, um sie zu täuschen, denn Websites sind nicht dumm.

Scrapy Rahmen spezielle Posen

Alte Hasen mit Scrapy müssen die Dinge in Middlewares in Gang bringen, hier ist eine arbeitssparende Vorlage:

class ProxyMiddleware.
    def process_request(self, request, spider): current_proxy = get_proxy() ruft ipipgo API auf.
        current_proxy = get_proxy() ruft die API von ipipgo auf
        request.meta['proxy'] = f "http://{current_proxy}"

Denken Sie daran, diese Middleware in den Einstellungen zu aktivieren, es wird empfohlen, mit demautomatischer WiederholungsmechanismusEs ist sicherer in der Anwendung.

Erste Hilfe bei häufigen Überschlagsszenen

Keine Panik, wenn es um diese drei Probleme geht:

1. IP hängt plötzlich die ganze Zeit → Prüfen Sie den Kontostand und versuchen Sie, die Vertragsart zu wechseln.
2. Es ist ein Schneckentempo. → Wechsel des statischen Wohnungsvermittlers oder der TK-Leitung
3. CAPTCHA knackt immer