Beautiful Soup Tutorial: Python Parsing Anleitung

Erstens: Warum sollte man bei Beautiful Soup eine Proxy-IP verwenden?

Leute, die sich mit Daten-Crawling beschäftigen, wissen, dass der Anti-Climbing-Mechanismus der Website jetzt immer strenger wird. Man nimmt eine gewöhnliche IP, um Daten abzugreifen, ein leichtes Geschwindigkeitslimit, ein schweres direktes Siegel. Zu dieser ZeitProxy-IPEs ist ein Lebensretter - vor allem für Dienstleister wie ipipgo, die sich auf Proxys mit hohem Speicherplatzbedarf spezialisiert haben und die IPs für jede Anfrage ändern, so dass die Website einfach nicht erkennen kann, ob Sie eine echte Person oder ein Crawler sind.

Um ein reales Szenario: Sie wollen den Preis für eine E-Commerce-Plattform zu fangen, mit ihrem eigenen Haus Breitband mit dem Antrag verbunden 50 mal, die Ergebnisse der 3. mal auf dem Siegel. Wechseln Sie zu ipipgo dynamischen Proxy-Pool, jede Anfrage zufällig wechseln die verschiedenen Regionen des Landes der IP, die Erfolgsquote direkt zu 95% oder mehr ziehen.

Anfragen importieren
von bs4 importieren BeautifulSoup

proxies = {
  'http': 'http://username:password@gateway.ipipgo.com:9020',
  'https': 'http://username:password@gateway.ipipgo.com:9020'
}

response = requests.get('https://target-site.com', proxies=proxies)
soup = BeautifulSoup(response.text, 'html.parser')

Zweitens, konfigurieren Sie die Proxy-IP der drei großen Fallstricke

Der einfachste Ort für einen Anfänger, um zu fallen:

1. Falsche AuthentifizierungsmethodeDer Proxy von ipipgo erfordert eine doppelte Authentifizierung mit Konto und Passwort, und viele Leute lassen den Autorisierungsparameter im Code weg.

2. Unstimmigkeiten im ProtokollDer Zugriff auf eine https-Website unter Verwendung eines http-Proxys ist so, als würde man eine Buskarte benutzen, um eine U-Bahn-Schranke zu passieren.

3. IP-Überlebenszeit

Nun auf dem Markt Agent Service Provider von unterschiedlicher Qualität, einige behaupteten, Millionen von IP-Pools, die tatsächliche Verfügbarkeit von weniger als 30%. ipipipgo vor allem sehen ihreMechanismus zur Erkennung des ÜberlebensDas System beseitigt ausgefallene Knoten automatisch jede Minute. Gemessen kontinuierliche Crawling für 6 Stunden, die Anzahl der Anfrage Unterbrechungen nicht mehr als 3 mal.

headers = {
    
    'Accept-Language': 'en-US,en;q=0.5'
}

for page in range(1, 100): 'Accept-Language': 'en-US,en;q=0.5' }
    time.sleep(random.uniform(1, 3)) random wait
    response = requests.get(f'https://xxx.com/page/{page}', headers=headers, proxies=proxies)