
Apprenez à utiliser PHP pour jouer avec les requêtes POST + proxy IP
Aujourd'hui, nous allons nous intéresser à PHP avec cURL pour envoyer des requêtes POST, et plus particulièrement à l'utilisation d'un proxy IP. Cette chose semble simple, mais à l'intérieur de la porte peut être beaucoup, pas bon tombera dans la fosse. Pas de panique, suivez mon rythme pas à pas.
Pourquoi dois-je porter un gilet de proxy pour les requêtes POST ?
Pour donner un marronnier, tout comme les achats en ligne avec le compte d'un ami pour passer une commande, l'IP proxy est l'ami qui vous aide à faire le travail en votre nom. Certains sites ont spécifiquement capturé l'exploitation fréquente du sceau IP, cette fois avec la rotation du pool d'IP proxy ipipgo, absolument peut vous garder en sécurité. En particulier pour ceux qui collectent des données, l'absence de proxy équivaut à se promener nu.
// Modèle de requête POST de base
$ch = curl_init() ;
curl_setopt($ch, CURLOPT_URL, "http://目标网址.com") ;
curl_setopt($ch, CURLOPT_POST, 1) ; curl_setopt($ch, CURLOPT_POST, 1) ;
curl_setopt($ch, CURLOPT_POSTFIELDS, "Parameter 1 = Value 1 & Parameter 2 = Value 2") ;
$response = curl_exec($ch) ;
Ensemble pratique trois pièces Proxy IP
Et voici l'astuce ! Pour mettre un gilet de proxy sur cURL, il suffit d'ajouter trois lignes de code :
// Ajouter la configuration du proxy ipipgo
curl_setopt($ch, CURLOPT_PROXY, 'proxy IP:port') ; / / Ajouter la configuration du proxy ipipgo.
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'Account:Password') ; // si l'authentification est requise
curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP) ; //type de protocole
Attention aux nids-de-poule :
- Le format de l'adresse IP du proxy doit êtreIP:Portpar exemple 114.114.114.114:8888
- Utilisez le proxy d'ipipgo, n'oubliez pas qu'il a le droit d'accès à l'information.Deux types d'authentificationLa sécurité des données : authentification du mot de passe du compte et liste blanche d'adresses IP
- Pour les requêtes https, choisissez un paquet proxy qui prend en charge SSL.
Manuel sur le déminage des problèmes opérationnels
| phénomène problématique | vérifier la direction de l'enquête (idiome) ; découvrir ce qui se passe | prescription |
|---|---|---|
| Délai de connexion | Défaillance de l'IP proxy/latence du réseau | Changez la nouvelle IP de ipipgo et augmentez CURLOPT_TIMEOUT. |
| Retourner l'erreur 407 | Informations d'authentification incorrectes | Vérifier les mots de passe des comptes ou utiliser des méthodes d'authentification sur liste blanche |
| temps de réponse lent | Charge élevée sur les nœuds de proxy | Changement de ligne BGP d'ipipgo |
Paramètres de configuration privée du connaisseur
Ce sont les paramètres à régler si vous voulez que l'agent fonctionne bien :
// Réglage du délai d'attente (en secondes)
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10) ;
curl_setopt($ch, CURLOPT_TIMEOUT, 30).
// Conserver les connexions longues (pour les demandes à haute fréquence)
curl_setopt($ch, CURLOPT_FORBID_REUSE, 0) ; curl_setopt($ch, CURLOPT_FORBID_REUSE, 0)
curl_setopt($ch, CURLOPT_FRESH_CONNECT, 0) ; // Conserver les connexions longues (bon pour les requêtes à haute fréquence).
Temps consacré à l'assurance qualité
Q : Que dois-je faire en cas de ralentissement après l'utilisation d'un proxy ?
A : 80% est le problème de l'agent public, changer le paquet d'agent exclusif d'ipipgo, la vitesse peut être augmentée de plus de 3 fois.
Q : Que se passe-t-il si j'ai besoin d'un CAPTCHA ?
R : Le proxy résidentiel dynamique d'ipipgo est doté d'une fonction de camouflage de l'empreinte digitale du navigateur, qui permet de réduire considérablement le taux de déclenchement des CAPTCHA.
Q : Comment résoudre le problème de l'IP proxy qui est toujours bloquée ?
R : Vous devez utiliser des serveurs mandataires de haute qualité. Les serveurs mandataires de qualité professionnelle d'ipipgo disposent de millions de pools d'adresses IP et filtrent automatiquement les nœuds défaillants.
Pourquoi ipipgo ?
Ma propre expérience de plus de deux ans d'utilisation me permet de dire que ces trois points sont les plus vrais :
- Unique en ChineLigne convergente triple BGPDélai inférieur à 50 ms
- L'API récupère la deuxième réponse de l'IP avecContrôle du taux de réussiteFonctionnalité
- Le support technique est en ligne 24 heures sur 24, et la dernière fois que j'ai eu un problème au milieu de la nuit, il a été résolu en 10 minutes.
Une dernière remarque, lorsque l'on teste des proxysNe jamais utiliser Baidu comme site de testleur mécanisme anti-crawl est trop malade. Il est recommandé d'utiliser votre propre page de test ou d'utiliser un site de test professionnel comme httpbin.org.

