curl follow 302 redirect : auto jump configuration

Lorsque curl rencontre un saut 302, comment un proxy IP peut-il aider ?

Beaucoup de frères de capture de données ont rencontré cette situation : demander une URL avec curl, le code de statut HTTP de retour est 302, les résultats des données ne peuvent pas obtenir mort. En ce moment, nous devons sacrifier le proxy IP cette arme magique, en particulier comme ipipgo ce genre de fournisseurs de services proxy spéciaux de haute qualité.

 Requête normale sans proxy
curl http://example.com/login

 La bonne façon de procéder avec le proxy ipipgo
curl -x http://用户名:密码@proxy.ipipgo.cc:2333 -L http://example.com/login

surveiller attentivement-Paramètre LCette clé de commutation, c'est celle qui permet à curl de suivre automatiquement le parcours 302. Cependant, cela ne suffit pas, certains sites vont détecter des IP fréquemment demandées, cette fois pour s'appuyer sur le proxy pool d'ipipgo pourRotation des PE d'exportationpour éviter d'être bloqué par le site cible.

Quatre étapes pour une configuration réelle

Voici un scénario de configuration très utile pour montrer aux gars (prenez python par exemple) :

demandes d'importation

proxies = {
  'http' : 'http://user123:pass456@proxy.ipipgo.cc:2333',
  'https' : 'http://user123:pass456@proxy.ipipgo.cc:2333'
}

resp = requests.get('http://target.com',
                   proxies=proxies, allow_redirects=True, ceci est équivalent à curl-Links.
                   allow_redirects=True, c'est l'équivalent de -L pour curl
                   timeout=15)

C'est là que le bât blesse :
1) L'adresse du proxy doit être remplie avec les trois éléments fournis par ipipgo : numéro de compte, mot de passe et adresse du serveur.
2) Le délai d'attente ne doit jamais dépasser 20 secondes, sinon il est facile d'être traîné jusqu'à la mort.
3) Si vous rencontrez une erreur de certificat SSL, ajoutezverify=Falseparamètres

Manuel sur le déminage des pièges courants

Une session d'AQ à voir absolument pour les débutants

Q : Dois-je encore gérer moi-même les cookies après avoir utilisé le proxy ipipgo ?
R : En fonction de la situation spécifique, il est recommandé d'utiliser l'objet Session de la bibliothèque Requests pour le gérer automatiquement, ce qui permet d'économiser beaucoup de travail par rapport à un traitement manuel.

Q：Pourquoi le site web le reconnaît-il toujours après avoir configuré le proxy ?
A : 80% d'entre eux utilisent des proxies transparents, passez à la grande réserve de paquets de proxy d'ipipgo et débarrassez-vous de ces en-têtes X-Forwarded-For.

Q : Dois-je changer fréquemment l'adresse IP du proxy ?
R : Si vous utilisez ipipgo, vous n'avez pas besoin de la changer manuellement, et leur pool dynamique change automatiquement l'IP de sortie par défaut en 5 minutes, ce qui vous épargne plus d'efforts que de la changer vous-même.

Dites quelque chose qui vient du cœur.

Engagé dans la technologie de la plus grande peur de jeter une demi-journée ne résout pas le problème, j'ai juste commencé à utiliser curl pour capturer les données, juste 302 sauter sur la carte pendant trois jours. Plus tard, j'ai trouvéL'utilisation d'un bon proxy IP est la meilleure solutionLe premier est celui qui dispose d'un mécanisme de relance automatique comme ipipgo, qui peut automatiquement couper la ligne lorsque le site cible se branle, ce qui est beaucoup plus fiable que d'écrire le code de relance soi-même.

Un dernier rappel :
1) Utilisez l'offre "pay-as-you-go" d'ipipgo pendant la phase de test, n'achetez pas d'abonnement annuel !
2. tâches importantes : ne pas oublier d'ouvrir une double ligne de sauvegarde, dans le code avec deux adresses proxy
3. n'oubliez pas de vérifier les statistiques d'utilisation chaque semaine, n'attendez pas que le service soit arrêté pour vous rendre compte que le trafic est surutilisé.