Erfassen von Hoteldaten mit Python: Preisvergleichssystem

Echte Fallstudie lehrt Sie, Hotels mit Python zu jäten

Kürzlich bin ich in eine große Grube getreten, als ich meinem Freund geholfen habe, ein Hotelpreis-Vergleichs-Tool zu erstellen - ich habe mir nur 3 Websites geschnappt und meine IP blockiert bekommen. Später habe ich den Proxy-IP-Pool von ipipgo benutzt, und jetzt kann ich jeden Tag stabil 2000+ Hoteldaten abrufen. Heute werde ich Ihnen zeigen, wie man Python + Proxy-IP verwendet, um das Hotelpreisvergleichssystem zu spielen.

Warum kann ich es nicht ohne eine Proxy-IP abfangen?

Der Anti-Crawler-Mechanismus der Hotelplattform ist ausgeklügelter als eine Schwiegermutter:

1. 30 aufeinanderfolgende Besuche auf einer einzigen IP direkte Erpressung
2. die Erkennung regelmäßiger Besuche, die direkt den Verifizierungscode knacken
3. verschärfte Überwachung am Morgen (fragen Sie mich nicht, woher ich das weiß)

In diesem Fall wird eine Proxy-IP benötigt, die alsUnsichtbarkeitsmantel. Im Praxistest mit dem rotierenden IP-Dienst von ipipgo schoss die Erfolgsquote von 23% auf 89% in die Höhe.

Die drei wichtigsten Faktoren für die Wahl eines Proxy-IP

Es gibt Tausende von Agenten auf dem Markt, aber man muss diese Punkte erkennen, um Hoteldaten zu erfassen:

Besondere Erinnerung: Verwenden Sie nicht diese kostenlosen Proxys, als ich das letzte Mal 20 kostenlose IPs ausprobiert habe, wurden 19 davon von der Hotelplattform abgezogen.

Praktischer Code mit Kommentaren

Nehmen Sie zum Beispiel ein Kurshotel, das schweres Essen serviert:

Anfragen importieren
from random importieren Wahl

 API-Schnittstelle für ipipgo (fordern Sie Ihren eigenen Ersatz an)
IP_API = "http://ipipgo.com/api/get?key=你的密钥"

def get_proxy().
    """Dynamisch neue IPs holen""""
    ips = requests.get(IP_API).json()['data']
    return {'http': f'http://{Auswahl(ips)}'}

url = 'https://hotel.某程.com/list'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64...'}

versuchen.
     Neue IP für jede Anfrage
    response = requests.get(url,
                         headers=headers, proxies=get_proxy
                         proxies=get_proxy(), timeout=8)
                         timeout=8)
    print(response.text[:200]) schaut euch die ersten 200 Zeichen an
except Exception as e.
    print(f "Crawl fehlgeschlagen, aber IPs automatisch gewechselt: {e}")

Markieren Sie es dreimal:Die Timeout-Einstellung kann nicht weggelassen werden! Einige Proxy-IPs reagieren nur langsam, und wenn Sie keine Zeitüberschreitung festlegen, wird der gesamte Prozess blockiert.

Leitfaden zur Vermeidung von Überschlägen

Ich bin für Sie über diese Schlaglöcher getreten:

1. höchste Erfolgsrate von 1-5 Uhr morgens (Plattformverteidigung ist locker)
2. jede Anfrage schläft zufällig 1-3 Sekunden (Simulation von echten Menschen)
3. sofortige Verwerfung der aktuellen IP, wenn sie auf CAPTCHA trifft
4. den User-Agent jeden Tag ändern (keine gefälschten UA verwenden)

In Verbindung mit ipipgo'snach Volumen bezahlenModus, die Kosten für den Vergleich System tun können 60% zu speichern - nach allem, müssen nicht für ungültige IP zu zahlen.

Weißes QA-Dreifach

F: Was sollte ich tun, wenn meine Proxy-IP langsam ist?
A: Wählen Sie im ipipgo-Hintergrund den Modus "Geschwindigkeitspriorität", die tatsächliche Verzögerung kann bis auf 200 ms genau eingestellt werden.

F: Werde ich von der Justiz bestraft werden?
A: Greifen Sie nur öffentliche Daten ab, berühren Sie keine Benutzerinformationen. Es wird empfohlen, innerhalb des zulässigen Bereichs der robots.txt zu crawlen

F: Wie viel IP-Volumen wird pro Tag benötigt?
A: Für 200 Hotels/Tag sind 500-800 IPs ausreichend. ipipgo schickt 500 IPs für neue Benutzer zum Ausprobieren!

Erweiterte Tipps für das Preisvergleichssystem

Wenn Sie dies tun, haben Sie die 80%-Konkurrenz hinter sich gelassen:

1. 3-5 Plattformen gleichzeitig mit mehreren Threads erfassen (achten Sie auf die Gleichzeitigkeitskontrolle)
2. ipipgo's "geo-targeting" Funktion nutzen, um bestimmte Städte zu erfassen.
3. Entlastung der Datenspeicherung (verschiedene Plattformen können das gleiche Hotel sein)
4. Überwachung von Preisschwankungen (10%-Erinnerung an Preisanstieg und -rückgang einstellen)

Eine letzte geschmacklose Aktion: die Verwendung von ipipgo'sLanglebige statische IPzur Datenüberwachung, stabiler als dynamische IP, geeignet für Szenarien, bei denen der Preis über einen langen Zeitraum im Auge behalten werden muss.

In der Technologie ist die wichtigste Sache .......uh, kann auf der Linie laufen. Wenn Sie Fragen haben, bitte zögern Sie nicht, in den Kommentaren zu chatten, und wenn Ihr Code nicht funktioniert, denken Sie daran, zu überprüfen, ob Sie vergessen haben, Ihre API-Schlüssel zu ändern.