Wie man mit Python Daten von Websites erfasst: Erste Schritte bis Erste Schritte

Praktisches Datengrabbing im Stil von Python

Vor kurzem haben viele kleine Partner fragte mich, um zu sehen, andere Menschen Verfahren zur automatischen greifen den Preis von Waren, greifen Konzertkarten, schreiben ihren eigenen Code ist immer blockiert IP, wie zu tun? Diese Sache ist nicht schwer zu sagen, schwierig, an diesem Tag zu lehren, wie man Proxy-IP verwenden, um mit der Datenerfassung zu spielen. Seien Sie nicht in Eile, um die Seite zu schließen, verspreche ich nicht über die Terminologie, die nicht klar zu mir zu sprechen, lassen Sie uns tatsächlich Ruck Code.

Warum ist Ihr Crawler immer im Dunkeln?

Webmaster sind keine Vegetarier, sehen eine bestimmte IP verrückt Anfrage, direkt auf Ihre schwarze Liste. Ich habe die rücksichtslosesten E-Commerce-Plattform gesehen, 20 aufeinanderfolgende Besuche auf der IP-Blockierung, dieses Mal auf die Verwendung derProxy-IP-Poolum ihre wahre Identität zu verschleiern, als ob sie ein Hühnerspiel spielten und ständig ihre Rüstung wechselten.

Offener Code in der realen Welt

Installieren Sie zunächst die Anfragen-Bibliothek, das ist unsere Luoyang-Schaufel. Konzentrieren Sie sich darauf, wie man Proxy-IPs einbaut:

Anfragen importieren
from random importieren Wahl

 Proxy-Pool von ipipgo
proxy_pool = [
    "http://user:pass@gateway.ipipgo.com:9020",
    "http://user:pass@gateway.ipipgo.com:9021".
     Minimum von 20 IPs hier
]

url = "https://目标网站.com/data"

try.
    resp = requests.get(url,
        proxies={"http": choice(proxy_pool)},
        timeout=8
    )
    print(resp.text)
except Exception as e.
    print(f "Beendet: {str(e)}")

Beachten Sie die drei Punkte:

1. das Proxy-Format sollte korrekt geschrieben sein, das Passwort des Kontos sollte nicht umgekehrt sein
2. jede Anfrage zufällig ausgewählten IP, nicht fangen ein Greifen
3. stellen Sie die Zeitüberschreitung nicht auf mehr als 10 Sekunden ein, sonst bleibt sie stecken.

Wichtige Tipps für fortgeschrittene Spieler

Glauben Sie nicht, dass das Hinzufügen eines Agenten das Einzige ist, was zählt, denn die Website verfügt über weitere schädliche Tricks:
- Erkennung von Benutzer-Agenten (denken Sie daran, die fake_useragent-Bibliothek zu verwenden)
- Frequenzüberwachung anfordern (Kontrolle bis zu 3 Mal pro Sekunde)
- Captcha-Razzia (an dieser Stelle müssen IPs geändert und Cookies gelöscht werden)

Empfohlen für ipipgoIntelligenter SchaltmodusDie API kann die IP-Adresse automatisch ändern, was bequemer ist als die Aufrechterhaltung des Pools durch sich selbst. Vor allem, wenn dabei Preisvergleich System, jede Stunde zu fangen Tausende von Seiten, keine zuverlässigen Agenten einfach nicht spielen können.

Gemeinsame Rollover-Szene QA

Q：Warum kann ich die Daten nicht abfangen, wenn der Code in Ordnung ist?
A: 80% der Website verwendet asynchrone Laden, müssen Selenium mit dem Proxy zu verwenden, oder direkt finden Sie die Schnittstelle Adresse

F: Funktionieren kostenlose Proxys?
A: Newbie Praxis kann, ernsthaftes Projekt nie! Ich benutzte eine freie IP letztes Mal, das Ergebnis ist, die gefälschten Daten von anderen geändert zu fangen, Blutverlust!

F: Wie wähle ich ein Paket für ipipgo aus?
A: Für die persönliche Entwicklung, gehen Sie mit dem $ 19 / Tag Erfahrung Paket, und für Unternehmen, verwenden Sie die benutzerdefinierte Paket. Sie haben einen versteckten Trick - 12 Uhr in der Mitte der Nacht Verlängerungen haben Rabatte, die breite Öffentlichkeit ich nicht sagen!

Das ultimative Anti-Blockier-Arkana

Zum Schluss möchte ich Ihnen noch einen besonderen Tipp geben:
1. gemischte Nutzung von Wohn- und Serverraum-IPs
2. ein HTTPS-Proxy für wichtige Anfragen
3. wöchentliche Aktualisierung der IP-Whitelist
Mit diesen Tricks und der IP-Qualitätserkennungsfunktion von ipipgo kann man im Grunde genommen ein stabiles Kriechen bei jedem Wetter erreichen. Das letzte Mal, dass ich diese Lösungen verwendet habe, lief 72 Stunden lang ohne Unterbrechung, ohne dass ich gesperrt wurde.

Ich glaube nicht, dass es heute einfach ist, darüber zu reden, aber damals musste ich nicht viel Lehrgeld bezahlen. Denken Sie daran, dass die Datenerfassung eine offensive und defensive Schlacht ist, die Proxy-IP ist Ihre kugelsichere Weste. Welche spezifischen Fragen willkommen zu necken, sehen wird zurück sein. Sammeln Sie nicht nur ah, schnell öffnen Sie den Editor zu üben bis!