Python Parsing HTML: Einstellungen für den Python Crawler Agent

Praktische Übungen zur Verwendung von Proxy-IP zur Verhinderung von Blockierungen

Brüder in Crawling beschäftigt verstehen, dass die meisten Kopfschmerzen ist die Website blockiert IP. vor zwei Tagen habe ich gerade schrieb eine Plattform Datensammlung Skript, läuft weniger als eine halbe Stunde auf die Aufforderung "Zugang zu den abnormen", so wütend, dass ich auf der Stelle auf der Tastatur fiel. Später festgestellt, dass die Verwendung von Proxy-IP ist der König der Straße, hier, um Ihnen nörgeln meine Erfahrungen im Kampf.

Wenn Sie beispielsweise die Anforderungsbibliothek verwenden, um Daten abzurufen, ist das so, als würden Sie ohne Proxy nackt im Internet herumlaufen. Der Webmaster wird sehen, dass dieselbe IP-Adresse verzweifelt Anfragen stellt und Sie in einer Minute auf die schwarze Liste setzen. An diesem Punkt müssen Sie jede Anfrage mitTragen Sie eine andere Weste.Dies wird auch als Wechsel zwischen verschiedenen Proxy-IPs bezeichnet.

Anfragen importieren
von bs4 importieren BeautifulSoup

proxies = {
    'http': 'http://username:password@gateway.ipipgo.com:9020',
    'https': 'http://username:password@gateway.ipipgo.com:9020'
}

response = requests.get('https://目标网站.com', proxies=proxies)
soup = BeautifulSoup(response.text, 'html.parser')
 Schreiben Sie die Parsing-Logik hier...

Wie wählt man eine zuverlässige Proxy-IP?

Es gibt alle möglichen Proxys auf dem Markt, und ich habe sieben oder acht von ihnen verglichen, aber ich habe mich schließlich für die Dynamic Residential IP von ipipgo entschieden. warum haben Sie sich dafür entschieden? Drei Worte:Ruhig, schnell und wirtschaftlich. Ihre IP-Pools sind allesamt echte Heim-Breitbandanschlüsse, die schwerer zu erkennen sind als Serverraum-IPs und mit rund 20% immer noch billiger sind als die ihrer Mitbewerber.

Hier ist eine Vergleichstabelle zur besseren Veranschaulichung:

Drei Leitfäden zur Vermeidung von Fallstricken in der realen Welt

Pit 1: Versäumnisse bei der Behandlung von Proxy-Ausfällen. Es wird empfohlen, den Retry-Dekorator für automatische Wiederholungsversuche zu verwenden. Ich stelle in der Regel 3 Wiederholungsversuche und zufällig ausgewählte Proxys ein:

from tenacity import retry, stop_after_attempt

@retry(stop=stop_after_attempt(3))
def crawl_page(url).
     Holt einen neuen Proxy für jeden Wiederholungsversuch
    aktueller_proxy = get_random_proxy()
    return requests.get(url, proxies=current_proxy)

Grube 2: Antrag auf Offenlegung der Identität des Kopfes. Denken Sie daran, für jede Anfrage einen zufälligen User-Agent zu generieren, damit die Website kein Muster erkennen kann. Ich habe eine UA-Bibliothek zusammengestellt, schreiben Sie mir, wenn Sie sie brauchen.

Pit 3: Versäumnis, die Qualität der Agenten zu überprüfen. Es wird empfohlen, ein Testskript auszuführen, bevor der Crawler startet. Ich nehme normalerweise httpbin.org/ip, um zu überprüfen, ob der Proxy funktioniert.

Häufig gestellte Fragen

F: Was sollte ich tun, wenn mein Agent langsam ist?
A: Vorrang haben die Ressourcen der lokalen Betreiber, wie z.B. das Aufsteigen auf inländische Stationen mit dem ipipgo-Knoten Ostchina. Zusätzlich zur Überprüfung, ob der HTTPS-Proxy verwendet wird, um eine HTTP-Anfrage zu stellen, sollte das Protokoll entsprechen.

F: Wie kann ich eine große Anzahl von Proxy-IPs verwalten?
A: Verwenden Sie redis, um IP-Pools zu speichern und die Anzahl der Verwendungen jeder IP und die Antwortzeit aufzuzeichnen. Es wird empfohlen, sich auf diese Struktur zu beziehen:

{
    "ip": "112.95.23.61:8080",
    "used_count": 3,
    "used_count": 3, "last_speed": 0.78,
    "last_check": "2024-03-15 14:30"
}

F: Wie kann ich das CAPTCHA umgehen, wenn ich es sehe?
A: Dies gehört zu einem anderen Thema. Einfach ausgedrückt, können Sie ipipgo's TK dedizierten Proxy (ihr einzigartiges Feature) kombinieren, um die üblichen CAPTCHA-Typen automatisch zu behandeln.

Abschließend möchte ich Sie daran erinnern, dass Sie sich die langfristige Stabilität des Proxy-Dienstes ansehen sollten. Ich habe früher den 9,9 Monatsdienst genutzt, und die durchschnittliche IP-Überlebenszeit betrug weniger als 5 Minuten. Mit dem Enterprise-Paket von ipipgo kann eine einzelne IP mehr als 2 Stunden lang genutzt werden, wobei die Kosten niedriger sind. Neue Benutzer werden empfohlen, ihre dynamische Standard-Version zu kaufen, um das Wasser, mehr als 7 Yuan 1G Verkehr genug, um ein kleines Projekt laufen zu versuchen.