Erstens, die erste ganze verstehen, was ist der Proxy-IP?
Angenommen, Sie geben beim Online-Einkauf eine falsche Lieferadresse an, dann wird der Kurier das Paket an den falschen Ort liefern. Die Proxy-IP ist wie eine vorübergehende Änderung der Lieferadresse, so dass der Zielserver denkt, Sie seien ein Besucher aus einem anderen Ort. Wenn Sie z. B. eine Website in Peking mit einer IP-Adresse aus Jiangsu besuchen, sieht die andere Partei, dass die Quelle des Besuchs Jiangsu ist.
Die häufigste Situation, der unsere Crawler-Freunde begegnen:Verwenden Sie ständig die gleiche IP, um Daten abzugreifen, wird die Website direkt auf die schwarze Liste gesetzt!Das erste, was Sie tun müssen, ist, Ihre Proxy-IPs zu rotieren, um nicht blockiert zu werden. Dieses Mal müssen Sie Proxy-IP-Rotation, um zu vermeiden, blockiert werden. Allerdings sollte besondere Aufmerksamkeit bezahlt werden, um einen Proxy-Dienstleister zu finden, müssen nicht diejenigen, die aus einer unbekannten Quelle kommen, wie wir verwenden ipipgo eine solche formale Qualifikation ist zuverlässig.
Zweitens, Python, um den Stellvertreter der beiden Posen zu engagieren
Beginnen wir mit der am häufigsten verwendeten Anfragebibliothek, das Hinzufügen von Proxys ist riesig und einfach:
Einfuhrgesuche
proxies = {
http': 'http://用户名:密码@ipipgo proxies:port',
'https': 'https://用户名:密码@ipipgo proxy:port'
}
resp = requests.get('Ziel-URL', proxies=proxies, timeout=10)
print(resp.text)
Es ist ein bisschen komplizierter, wenn Sie urllib verwenden, aber Sie müssen keine Bibliotheken von Dritten installieren:
from urllib.request import ProxyHandler, build_opener
proxy = ProxyHandler({
'https': 'https://ipipgo提供的代理地址:端口'
})
opener = build_opener(proxy)
Antwort = opener.open('https://要访问的网站')
print(response.read().decode('utf-8'))
Drittens, vermeiden diese Gruben können 80% Zeit sparen
Drei der einfachsten Orte für Neulinge, um sich zu überschlagen:
1. Falsches Proxy-Formathttp und https sollten getrennt geschrieben werden, es gibt spezielle Symbole im Passwort, die mit % zu entschlüsseln sind.
2. Der Timeout ist nicht eingestellt.Es wird empfohlen, dass der Timeout nicht mehr als 15 Sekunden beträgt, da das Programm sonst abstürzt.
3. IP-Qualität ist nicht gut
Deshalb empfehlen wir ipipgo, das für Crawler optimiert ist.Dynamic Residential PaketIch habe die Standardversion mit einer dynamischen IP-Adresse für drei Tage verwendet und es hat nicht ein Gegen-Skript auslösen. Getestet mit der Standardversion der dynamischen IP, läuft für drei aufeinanderfolgende Tage Skript nicht Anti-Climbing auslösen. Um die Ergebnisse zu maximieren, sollten Sie diese goldene Kombination beachten: 1. die IP-Adresse bei jeder Anfrage zufällig ändern (die API von ipipgo kann sie direkt in Massen abrufen) 2. zufälliges Schalten mit User-Agent 3. die Häufigkeit der Besuche zu kontrollieren, damit sie nicht zu intensiv sind Nennen Sie ein praktisches Code-Beispiel: F: Was sollte ich tun, wenn die Proxy-IP nach ihrer Verwendung ungültig wird? F: Was ist, wenn ich viel geistiges Eigentum für die Projekte meines Unternehmens benötige? F: Der Code sieht gut aus, aber ich kann mich nicht mit dem Agenten verbinden? Ich habe 7 oder 8 Proxy-Dienste genutzt und mich schließlich aus drei Hauptgründen für ipipgo entschieden: 1. Das Protokoll unterstützt vollständigeSocks5 und https funktionieren beide, manche Websites erkennen nur bestimmte Protokolle 2. Kunden-SparenIhr Windows-Client ist wirklich praktisch, zwei Klicks und Sie können die IPs wechseln! 3. PreistransparenzIm Gegensatz zu anderen Plattformen, die Zuschläge verstecken, beginnt die Standardversion von Dynamic Residential bei $7,67/G, was die Kosten für die Datenerfassung überschaubar macht! Schließlich, schauen Sie nicht nur auf den billigen Proxy-Service. Vor der billigen kaufen 5 Yuan 100G, das Ergebnis ist, dass die Hälfte der IP sind Abfall, aber verzögert. Jetzt mit ipipgo Standard-Version der dynamischen IP, Sammlung Effizienz mindestens 3 mal, der Schlüssel ist nicht den ganzen Tag zu werfen, um die IP zu ändern.IV. praktische Fähigkeiten werden weitergegeben
zufällig importieren
Anfragen importieren
def get_ipipgo_proxy():: Hier ändern wir die API-Adresse in diejenige, die wir vom ipipgo-Backend erhalten haben.
Ersetzen Sie diese durch Ihre eigene API-Adresse aus dem ipipgo-Backend.
api_url = "https://api.ipipgo.com/getproxy"
proxies = requests.get(api_url).json()['data']
return random.choice(proxies)
headers_list = [
{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0)...'} ,
{'Benutzer-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)...'}
]
resp = requests.get(
url=Ziel-URL, proxies={'https
proxies={'https': get_ipipgo_proxy()},
headers=random.choice(headers_list),
timeout=12
)
V. Kurze Fragen und Antworten auf häufig gestellte Fragen
A: Diese Situation ist achtzig Prozent der Verwendung von schlechter Qualität Agenten, ipipgo statische Wohn-Paket Stabilität ist viel besser, 35 Yuan eine IP kann für einen ganzen Monat verwendet werden!
A: direkt an ihren Kundendienst zu Unternehmen benutzerdefinierte Programm, kann die Abrechnungsmethode nach dem Volumen des Geschäfts anzupassen, als zahlen nach Volumen kostengünstig!
A: Überprüfen Sie zunächst die Whitelist-Einstellungen, ipipgo Hintergrund, um die lokale IP zu binden. Wenn Sie Konto-Passwort-Authentifizierung gehen, denken Sie daran, das Format ist user:pass@ip:portVI. warum empfehlen Sie ipipgo?
Deutsch 
简体中文 
English 
Español 
Français