
Utilisation de cURL pour obtenir des informations d'en-tête de site
Comme tous les développeurs le savent, il arrive que l'on veuille voir quel genre d'astuces le serveur web cache, et le plus direct est d'utiliser cURL pour vérifier l'en-tête de la réponse. Mais si l'on utilise directement sa propre adresse IP, on risque d'être blacklisté par le site. Cette fois, vous avez besoin d'une IP proxy comme "acteur de substitution", non seulement pour vous protéger, mais aussi pour avoir un accès stable aux données.
Pourquoi dois-je utiliser une adresse IP proxy ?
Pour donner un marronnier, comme vous allez au supermarché pour essayer de manger, si vous attrapez le même comptoir même manger 20 fois, le commis doit rouler des yeux. De même, si un site web constate qu'une IP demande fréquemment des informations d'en-tête, il limitera le flux de trafic, ou bloquera le numéro. Si vous utilisez le pool d'IP proxy d'ipipgo, vous pouvez facilement contourner ces restrictions en changeant votre IP pour une autre à chaque demande.
curl -x http://username:password@proxy.ipipgo.cc:8080 -I https://example.com
Quatre étapes pour une configuration réelle
Première étape :Pour obtenir un forfait proxy, il est recommandé aux novices de choisir de payer au volume, la quantité à utiliser n'étant pas un gaspillage !
Deuxième étape :Rappelez-vous ces trois éléments : l'adresse du proxy, le port, le mot de passe du compte. Notez que les protocoles http et socks5 ne se confondent pas, ipipgo background dispose d'une documentation détaillée !
Troisième étape :Les paramètres d'épissage sur la ligne de commande, le paramètre -x est suivi par les informations du proxy, et le paramètre -I indique que tant que les informations de l'en-tête
Quatrième étape :Après avoir exécuté la commande pour voir le code d'état HTTP retourné, 200 est un succès, 403/429 il faut changer l'IP du proxy.
lit. regarder à l'intérieur de l'en-tête de la réponse pour voir la porte (idiome) ; fig. comprendre le sens d'un mot ou d'une phrase
| champ d'en-tête de la réponse | importance pratique |
|---|---|
| Serveur | Type de serveur, nginx ou apache |
| X-Powered-By | Sur quelle pile technologique le site repose-t-il ? |
| Cache-Control | Comment la politique de cache est définie |
Guide du tapis roulant AQ
Q : Que dois-je faire si je ne parviens pas à me connecter à l'adresse IP du proxy ?
A:Vérifiez d'abord si le réseau peut faire un ping à travers le serveur proxy, puis confirmez que le mot de passe du compte n'est pas erroné. L'arrière-plan d'ipipgo a une fonction "test de connexion", il est recommandé d'utiliser d'abord ce test !
Q:Quelle est la situation en cas de retour 502 Bad Gateway ?
R : Quatre-vingt pour cent est le vent du serveur proxy, changez un nœud ipipgo pour essayer. Leurs nœuds ont un taux de survie de 99%, donc changer quelques nœuds supplémentaires fonctionnera.
Q : Que se passe-t-il si je souhaite obtenir des informations sur les en-têtes en masse ?
A : Ecrire un script shell pour appeler cURL cycliquement, en n'oubliant pas de changer l'IP proxy d'ipipgo avant chaque requête. Leur API supporte l'extraction d'IP à la demande, il n'est donc pas très pratique de changer automatiquement !
Il est important de choisir le bon agent
市面上的代理服务鱼龙混杂,有些免费代理看着省钱,实际用起来高、不稳定。ipipgo的独享代理线路,实测响应速度能控制在200ms以内,还支持按地域选择节点。特别是他们的智能路由功能,自动选最优线路,比手动切换省事多了。
Enfin, j'aimerais vous rappeler de faire attention au contrôle de la fréquence lorsque vous utilisez cCMD pour vérifier les informations d'en-tête. Même si vous utilisez une IP proxy, ne tirez pas jusqu'à la mort, définissez un paramètre -max-time pour limiter le délai d'attente, ne laissez pas de ligne à l'avenir, au plaisir de vous voir.

