Configuration de l'IP Proxy cURL Proxy : Ligne de commande cURL Paramètres de l'IP Proxy

Apprenez à utiliser cURL pour trouver facilement l'adresse IP d'un proxy

Les frères Crawler doivent comprendre que, parfois, les données demandées directement par leur propre réseau déclenchent un mécanisme anti-escalade. À ce moment-là, vous avez besoin d'une IP proxy comme "stand-in", aujourd'hui concentrez-vous sur la façon de cURL cet outil de ligne de commande pour accrocher le proxy, en particulier avec la ligne de commandeipipgodes services de l'agence.

Pourquoi ai-je besoin d'un proxy pour cURL ?

Par exemple, si vous utilisez continuellement la même IP pour effleurer un site web, le webmaster n'est pas dupe, et vous donnera une minute pour IP hors de la petite salle noire. L'IP proxy est comme un jeu de "visage", chaque demande d'identité différente, le taux de réussite peut être doublé. En particulieripipgoCe service, qui offre une réserve massive d'adresses IP, peut obtenir des milliers d'adresses IP de différentes régions.

Trois positions pour établir la procuration

Nous allons vous apprendre trois méthodes courantes, n'oubliez pas de changer le mot de passe du compte dans l'exemple par le vôtre dans la sectionback office ipipgoObtenez les vraies références :

 Accrochage direct du proxy en ligne de commande (bon pour une utilisation temporaire)
curl -x http://user:pass@proxy.ipipgo.cn:9023 https://目标网站

 Définition de variables d'environnement (pour une utilisation à long terme)
export http_proxy=http://user:pass@proxy.ipipgo.cn:9023
export https_proxy=http://user:pass@proxy.ipipgo.cn:9023

 Écrire un fichier de configuration (adapté aux anciens pilotes)
vim ~/.curlrc
Ajoutez cette ligne :
proxy = http://user:pass@proxy.ipipgo.cn:9023

Ne vous trompez pas sur les paramètres importants.

Notez le piège que représente l'examen des types de mandataires :

 Écriture du proxy HTTP
curl -x http://代理地址 URL de destination

 Écriture du proxy SOCKS5
curl --socks5 Adresse du proxy URL de destination

Si vous utilisezipipgoLe service, leur maison, prend en charge les protocoles HTTP et SOCKS5, vous pouvez voir le type de protocole spécifique dans le backend.

Détecter si l'agent fonctionne ou non

Après avoir suspendu le proxy, vérifiez-le à l'aide de cette commande :

curl https://api.ip.ipipgo.cn/current-ip

Si l'IP renvoyée n'est pas la même que celle de la machine locale, cela signifie que le proxy a été configuré avec succès. Cette interface de détection estipipgoLes offres spécialisées sont plus fiables que les sites web de tiers.

Scène de renversement courante AQ

Q：Que dois-je faire si je n'obtiens aucun résultat après avoir configuré le proxy ?
R : Vérifiez d'abord trois éléments : le type de protocole (http/socks5), le numéro de port et le mot de passe du compte. UtiliseripipgoVous pouvez demander à leur service clientèle la commande de connexion de test si vous le souhaitez.

Q : Comment savoir si le proxy IP fonctionne ?
R : Utilisez cette combinaison :
1. utiliser la commande ping pour mesurer la latence
2) Utilisez curl -I pour mesurer à nouveau l'en-tête de la réponse.
3. les données finales de la demande effective

Q : Prenez-vous en charge les sites HTTPS ?
R : Tant que le serveur proxy prend en charge le mode tunnel (comme l'applicationipipgo(qui est pris en charge par la gamme complète de produits), il est possible d'accéder aux sites https normalement, de la même manière qu'avec les paramètres http normaux.

Conseils privés

C'est parfois nécessaire.Changement aléatoire d'agentsvous pouvez écrire un script shell :

! /bin/bash
PROXY_LIST=(
  "http://user:pass@proxy1.ipipgo.cn:9023"
  "http://user:pass@proxy2.ipipgo.cn:9023"
  "http://user:pass@proxy3.ipipgo.cn:9023"
)
RANDOM_PROXY=${PROXY_LIST[$RANDOM % ${PROXY_LIST[@]}]}
curl -x $RANDOM_PROXY site cible

Ce script fonctionne en conjonction avec le scriptipipgoLes multiples canaux proxy peuvent automatiquement changer d'adresse IP, et l'effet anti-crawler est excellent.

Dernier point : la qualité de l'IP du proxy détermine directement le taux de réussite. Comme certains proxys gratuits ne parviennent pas toujours à se connecter, il est toujours recommandé d'utiliser le proxyipipgoCe type de fournisseur de services professionnels, dont le canal proxy domestique est doté d'un mécanisme de vérification automatique et de réessai, permet d'éviter bien des soucis.