curl follow 302 redirect: auto jump Konfiguration

Wenn curl auf einen 302-Sprung stößt, wie kann eine Proxy-IP helfen?

Eine Menge von Datenerfassung Brüder haben diese Situation begegnet: Anfrage eine URL mit curl, die Rückkehr HTTP-Status-Code ist 302, die Ergebnisse der Daten nicht tot zu bekommen. Zu diesem Zeitpunkt müssen wir die Proxy-IP diese magische Waffe zu opfern, vor allem wie ipipgo diese Art von speziellen hochwertigen Proxy-Dienstleister.

 Normale Anfrage ohne Proxy
curl http://example.com/login

 Der richtige Weg mit ipipgo proxy
curl -x http://用户名:密码@proxy.ipipgo.cc:2333 -L http://example.com/login

sorgfältig beobachten-L-ParameterDieser Schlüsselschalter ist der Schalter, der es curl erlaubt, automatisch dem 302-Lauf zu folgen. Allerdings ist dies nicht genug, werden einige Websites häufig angeforderte IP zu erkennen, dieses Mal auf ipipgo Proxy-Pool zu verlassenRotation der Export-IPsum zu vermeiden, dass sie von der Zielseite blockiert werden.

Vier Schritte für eine praxisnahe Konfiguration

Hier ist ein wirklich nützliches Konfigurationsszenario, um es den Jungs zu zeigen (z. B. Python):

Einfuhranträge

proxies = {
  'http': 'http://user123:pass456@proxy.ipipgo.cc:2333',
  'https': 'http://user123:pass456@proxy.ipipgo.cc:2333'
}

resp = requests.get('http://target.com',
                   proxies=proxies, allow_redirects=True, dies ist äquivalent zu curl-Links.
                   allow_redirects=True, dies entspricht -L für curl
                   timeout=15)

Das ist der springende Punkt:
1. die Proxy-Adresse sollte in den drei von ipipgo angegebenen Teilen ausgefüllt werden: Konto, Passwort und Server-Adresse.
2) Die Timeout-Einstellung sollte 20 Sekunden nicht überschreiten, da man sonst leicht zu Tode geschleift werden kann.
3. wenn Sie einen SSL-Zertifikatsfehler feststellen, fügen Sieverify=FalseParameter

Handbuch zur Minenräumung mit den häufigsten Fallstricken

Eine QA-Sitzung für Anfänger, die man gesehen haben muss

F: Muss ich nach der Verwendung von ipipgo proxy die Cookies immer noch selbst verwalten?
A: Je nach Situation empfiehlt es sich, das Session-Objekt der Requests-Bibliothek zur automatischen Verwaltung zu verwenden, was im Vergleich zur manuellen Bearbeitung viel Arbeit spart.

Q：Warum wird es von der Website noch erkannt, nachdem ich den Proxy eingerichtet habe?
A: 80% von ihnen benutzen transparente Proxies, wechseln Sie zu ipipgo's großem Vorrat an Proxy-Paketen und werden Sie all diese X-Forwarded-For Header los.

F: Muss ich die Proxy-IP häufig ändern?
A: Wenn Sie ipipgo verwenden, müssen Sie sie nicht manuell ändern, und ihr dynamischer Pool wechselt die Export-IP standardmäßig innerhalb von 5 Minuten, was Ihnen mehr Arbeit erspart, als sie selbst zu ändern.

Sagen Sie etwas, das von Herzen kommt.

Engagiert in der Technologie der meisten Angst vor dem Werfen einen halben Tag nicht das Problem zu lösen, habe ich gerade begonnen, curl verwenden, um die Daten zu erfassen, nur 302 Sprung auf der Karte für drei Tage. Später gefundenDie Verwendung einer guten Proxy-IP ist der richtige WegDie erste ist die mit einem automatischen Wiederholungsmechanismus wie ipipgo, der die Leitung automatisch kappen kann, wenn die Zielseite abspringt, was viel zuverlässiger ist, als den Wiederholungscode selbst zu schreiben.

Eine letzte Erinnerung:
1. ipipgo während der Testphase als Pay-as-you-go-Paket nutzen, nicht einfach ein Jahresabonnement abschließen!
2. wichtige Aufgaben denken Sie daran, Dual-Line-Backup zu öffnen, in den Code mit zwei Proxy-Adressen
3. denken Sie daran, die Nutzungsstatistiken jede Woche zu überprüfen, und warten Sie nicht, bis der Dienst eingestellt wird, um festzustellen, dass der Datenverkehr übermäßig genutzt wird.