curl send HTTPPOST | form submit data practice

Apprendre à utiliser curl pour accrocher un proxy afin d'envoyer une requête POST.

Les frères engagés dans le développement du réseau doivent avoir rencontré cette situation : ils écrivent le script de soumission de formulaire en quelque sorte bloqué IP, ou ont besoin de tester par lots l'effet de l'accès à différentes régions. En ce moment, nous devons demander au proxy IP cette arme magique, aujourd'hui nous prenons notre service proxy ipipgo familial pour donner une châtaigne, vous enseigner comment utiliser la commande curl avec le proxy IP soumettre des données de formulaire.

Pourquoi dois-je utiliser une adresse IP proxy ?

Prenons un scénario réel : vous voulez tester la vitesse de chargement de la fonction d'enregistrement du site web dans différentes régions, vous ne pouvez pas vraiment acheter un billet pour courir partout, n'est-ce pas ? Cette fois-ci, avec l'IP résidentielle dynamique d'ipipgo, il suffit d'une minute pour changer d'IP régionale et, assis devant l'ordinateur, simuler l'enregistrement d'un utilisateur national. Un autre exemple est la collecte de données, accrochée à la réserve d'agents, le site cible ne peut tout simplement pas voir que vous opérez avec la machine.

Notez les trois points :

1. trouver un fournisseur de services proxy fiable (tel que ipipgo) pour obtenir l'adresse proxy de l'API
2) Tester la connectivité du proxy avant toute utilisation formelle
3. la fréquence des soumissions de formulaires pour ressembler aux opérations de la vie réelle

La position correcte de la boucle avec la procuration

Passez directement à la vaisselle dure, en supposant que vous vous rendiez sur le site http://example.com/submit传登录数据 :

curl -x "http://user:pass@proxy.ipipgo.com:8080"
-d "username=test&password=123456"
-X POST http://example.com/submit

VoiciParamètre -xest de spécifier un serveur proxy, le format d'adresse proxy d'ipipgo est le suivantNom d'utilisateur:Mot de passe@Passerelle Adresse:PortLa première est que le protocole proxy n'est pas le même que le proxy socks5. Les nouveaux arrivants font souvent l'erreur de confondre le protocole proxy, le proxy http et le proxy socks5 est écrit différemment, nous ipipgo background a un exemple de code détaillé.

Processus de soumission d'un formulaire en situation réelle

Supposons que l'enregistrement d'un utilisateur doive être simulé en trois étapes :

1) Obtenir la dernière adresse IP du proxy à partir du backend d'ipipgo (une adresse IP résidentielle dynamique est recommandée).
2. tester la connectivité du proxy : curl -x adresse du proxy -I https://www.baidu.com
3. soumission formelle des données du formulaire avec CAPTCHA :

curl -x "http://user2023:sjYk9P@proxy.ipipgo.com:8899"
-d "mobile=13800138000&smscode=8848&nickname=Iron Egg"
-H "Content-Type : application/x-www-form-urlencoded"
-X POST http://target-site.com/register

Vous avez des problèmes avec la reconnaissance du CAPTCHA ? Il est recommandé d'utiliser d'abord l'IP locale pour obtenir le CAPTCHA, puis d'utiliser le proxy pour le soumettre, afin d'augmenter le taux de réussite. Le proxy à courte durée de vie d'ipipgo est particulièrement adapté à ce type de scénarios qui nécessitent de changer fréquemment d'IP.

Les pièges que vous pouvez rencontrer

Q : Que dois-je faire si je ne peux pas me connecter à l'agent ?
R : Vérifiez d'abord les paramètres de la liste blanche, l'ipipgo doit lier l'utilisation de l'IP. Ensuite, vérifiez que l'adresse et le port du proxy ne sont pas mal copiés, les novices confondent souvent _ et -.

Q : Les données de soumission sont bloquées par le site web ?
R : deux possibilités : 1. changer le proxy anonyme élevé d'ipipgo 2. ajouter l'en-tête de requête User-Agent dans curl, déguisé en accès au navigateur.

Q : Que dois-je faire si mon agent est lent ?
A : choisir la distance physique proche du nœud, comme le site cible à Pékin avec la salle des serveurs de Chine du Nord. L'arrière-plan ipipgo peut être filtré par le nœud de retard, ne soyez pas stupide d'utiliser le proxy des États-Unis pour accéder au site national.

Pourquoi recommandez-vous ipipgo ?

Expérience de l'utilisation de leur propre maison : leur maisonPool IP résidentiel dynamiqueVraiment solide, des tests automatisés ont fonctionné pendant 12 heures d'affilée sans s'arrêter. La meilleure chose est qu'il y aMécanisme de réitération des demandesCeci est important pour les scripts d'exploration qui doivent être exécutés pendant une longue période.

Récemment publiéforfait de paiement à l'utilisationParticulièrement adapté aux petits projets, 10 yuans permettent d'utiliser 500 millions de trafic, mieux que ceux qui doivent payer mensuellement. Voler une astuce : contacter le service clientèle et dire le mot de code "CURL2023″ peut recevoir un essai gratuit de 3 jours, suffisant pour tester plusieurs projets.

Enfin, rappelons à tous que l'IP proxy n'est pas en dehors de la loi, qu'il faut faire des affaires sérieuses avec les ressources IP conformes d'ipipgo et qu'il ne faut pas déplacer le cerveau. Contrôlez la fréquence de soumission des formulaires, ne bloquez pas les sites web des gens, les dieux ne pourront pas les sauver.