Curl Crawl Website : Tutoriel de capture en ligne de commande

Pourquoi curl utilise-t-il une adresse IP proxy pour accéder aux sites web ?

Engagé dans le vieux conducteur du réseau crawler comprendre, directement avec leur propre ordinateur IP hard Kong serveur web, avec le port de pantalons debout dans la neige comme dangereux. Le mécanisme anti-crawler du site n'est pas végétarien.Si elle est légère, l'IP sera bloquée pendant une demi-heure, si elle est importante, elle sera directement inscrite sur la liste noire.Le serveur ne sera pas en mesure de savoir qui est qui. À ce stade, l'adresse IP du proxy revient à porter un gilet pour curl, chaque requête change d'identité, le serveur ne peut pas savoir qui est qui.

Par exemple, une plateforme de commerce électronique est limitée à 500 visites par heure, avec leur propre haut débit pour durer jusqu'à 5 minutes sur la pause. Si vous utilisez le proxy résidentiel dynamique d'ipipgo, qui change automatiquement l'adresse IP pour chaque requête.Décuplement de l'efficacité de la collecteEt sans prendre le temps de respirer. Le plus important, c'est qu'il y a trois critères à prendre en compte pour choisir un agent :

Apprentissage pratique du curling avec les proxies

Ne vous laissez pas intimider par la ligne de commande, il s'agit simplement de quelques paramètres supplémentaires par rapport à curl classique. Disons que vous vous êtes inscrit à ipipgo et que vous avez un compte proxy socks5 :

curl -x socks5://username:password@gateway.ipipgo.com:1080 https://target.com

Il y a quelques pièges à éviter :

1. 密码含特殊符号记得用%编码，比如@要写成%40
2. les sites https doivent utiliser des proxys à haute sécurité, sinon l'IP réelle sera exposée
3. Nous recommandons d'ajouter le paramètre -connect-timeout 30 au paramètre timeout.

Conseils anti-blocage

Il ne suffit pas d'être capable d'utiliser des proxys, il faut aussi apprendre à faire semblant d'être normal. Voici trois astuces pour vous aider :

La première astuce : l'hibernation aléatoire

sleep $((RANDOM%5+1)) Pause aléatoire 1-5 secondes

Conseil n° 2 : Obfuscation de l'en-tête de la requête

curl -H "User-Agent : Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36"
     -H "Accept-Language : zh-CN,zh;q=0.9"
     -x http://ipipgo-proxy.cn:8080

Conseil n° 3 : Rotation de la propriété intellectuelle

Utilisez l'API d'ipipgo pour obtenir le pool de proxy dynamiquement, il est recommandé d'appeler l'interface pour changer l'IP avant chaque requête :

API_URL="http://api.ipipgo.com/getproxy?key=YOUR_KEY&protocol=socks5"
PROXY=$(curl -s $API_URL)
curl -x $PROXY https://target.com

Foire aux questions QA

Q：Que dois-je faire si mon IP proxy ne fonctionne pas lorsque je l'utilise ?
R : Quatre-vingt pour cent de l'IP était la station cible tirée au noir, dépêchez-vous de changer le mode de rotation automatique de l'ipipgo, leur pool domestique est mis à jour chaque jour 200.000 +IP

Q : Pourquoi suis-je toujours reconnu après avoir utilisé un proxy ?
A : Vérifiez si vous utilisez un proxy transparent, le proxy high stash d'ipipgo cachera complètement l'en-tête X-Forwarded-For.

Q : Quelle est la configuration requise pour une acquisition au niveau de l'entreprise ?
R : Il est recommandé d'utiliser l'édition Enterprise d'ipipgo, qui prend en charge plus de 500 devises, avec des tentatives automatiques et des tableaux de contrôle du taux d'échec.

Comment choisir un service d'agent fiable

Les services d'agence proposés sur le marché sont très hétérogènes. N'oubliez pas ces trois guides pour éviter les pièges :

1. Ne croyez pas aux services perpétuellement gratuits qui limitent la vitesse ou vendent des données.
2. Voir si plusieurs protocoles sont pris en charge, comme ipipgo qui prend en charge à la fois HTTP/S et SOCKS5.
3. Test de pureté IP, utilisez cette commande pour vérifier les fuites d'en-tête X-Real-IP :

curl -x proxy IP http://httpbin.org/headers

Enfin, j'aimerais vous donner quelques conseils sur la façon de tirer le meilleur parti de votre adresse IP et sur la façon de tirer le meilleur parti de votre adresse IP. Leur agent résidentiel dynamique est particulièrement adapté aux projets de collecte à long terme, le temps de survie IP que les autres parents 3 fois, la clé est la réponse rapide du service à la clientèle, le dernier deux heures au milieu de la nuit pour mentionner l'ordre de travail en fait secondes back....