cURL Add Request Header : Proxy IP Simulation Browser (navigateur de simulation par proxy)

Manipulation du navigateur : astuces pour déguiser cURL

Avez-vous déjà rencontré cette situation ? Avec la procédure de capture des données est toujours interceptée par le site, les gens peuvent voir que vous êtes une machine d'accès. Aujourd'hui pour vous apprendre un chef d'oeuvre - avec cURL camouflé dans un navigateur, avec la fonctionipipgol'adresse IP du proxy afin que le serveur ne puisse pas reconnaître l'adresse réelle !

Pourquoi ce gilet de navigateur ?

Les serveurs web sont aujourd'hui perfectionnés et peuvent reconnaître l'accès d'une machine grâce à deux caractéristiques :

1. Les en-têtes des requêtes sont trop propres (les navigateurs contiennent des dizaines de paramètres)
2. Accès IP fixe à haute fréquence (déclenchement immédiat du contrôle des risques)

En règle générale, une requête cURL nue ressemble à ceci :

curl http://example.com

Le serveur voit ce type de requête à nu et vous envoie une erreur 403. Nous devrons maquiller le paquet de requêtes et lui donner un gilet de proxy.

Guide de demande de maquillage de la tête

Concentrez-vous sur la dissimulation de ces trois paramètres :

Exemple de code réel (notez que le paramètre -H est plus sûr pour écrire en segments) :

curl -H "User-Agent : Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
     -H "Accept-Language : zh-CN,zh;q=0.9,en;q=0.8"
     -H "Referer : https://www.baidu.com/"
     http://target-site.com

La bonne façon d'ouvrir un proxy IP

Il ne suffit pas de modifier l'en-tête de la requête, l'adresse IP est exposée et vous êtes toujours dans le pétrin. Il est recommandé d'utiliser l'optionipipgoL'agent résidentiel dynamique, qui est extrêmement simple à utiliser :

curl -x http://username:password@gateway.ipipgo.io:9021
     -H "User-Agent : ..."
     http://target-site.com

A suivre.-xLes paramètres spécifient le serveur proxy, le pool de proxy d'ipipgo fera automatiquement la rotation des IP, plus de dix fois plus stable qu'une IP unique. Testé 500 requêtes consécutives n'ont pas déclenché de blocage, testé efficace !

Paquet anti-blocage

Combinez ces deux astuces pour obtenir de meilleurs résultats :

 Définissez d'abord le tableau des en-têtes de la requête
headers=(
    "User-Agent : Mozilla/5.0 (Macintosh ; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Safari/605.1.15"
    "Accept : text/html,application/xhtml+xml"
    "Connection : keep-alive"
)

 Initier une requête avec un proxy
curl -x http://user123:pass456@proxy.ipipgo.io:9021
     $(printf "-H '%s' " "${headers[@]}")
     https://target-site.com/api/data

Ce script utilise le routage intelligent d'ipipgo, changeant automatiquement l'IP de sortie pour chaque requête, avec des paramètres d'en-tête de requête aléatoires, le taux d'anti-blocage de 90% ou plus.

Questions fréquemment posées sur le déminage

Q : Que dois-je faire si je suis toujours reconnu après avoir ajouté l'en-tête de requête ?
R : Vérifier les cookies et l'empreinte SSL, qu'il est recommandé d'activer dans la console ipipgo.Emulation de l'empreinte digitale du navigateurFonctionnalité

Q : Que dois-je faire si l'adresse IP de mon proxy est souvent dépassée ?
R : Après la commande curl, ajoutez--connect-timeout 10Paramètres, contacter également le support technique d'ipipgo pour optimiser la ligne

Q : Que se passe-t-il si j'ai besoin d'une requête multithread ?
A : Exécution parallèle avec xargs et ipipgo'sPaquet concomitant multicanalLa vitesse décolle immédiatement.

Enfin, je voudrais vous rappeler de ne pas être avide de services proxy bon marché. J'ai déjà utilisé quelques petites boutiques, et leur pureté IP n'est tout simplement pas à la hauteur.ipipgoque. Les gens ont leur propre salle de serveur + les ressources de coopération de l'opérateur, le taux de réussite peut être de 99,2%, faire la collecte de données sait comment rare ce nombre. L'enregistrement d'un nouvel utilisateur envoie également un paquet de trafic de 20G, n'essayez pas pour rien, n'est-ce pas ?