curl Définition d'en-têtes de requêtes multiples : configuration avancée de la mascarade

A. Pourquoi votre demande est-elle toujours bloquée ? Il lui manque peut-être cette couche de "carapace protectrice".

Les frères qui font de la collecte de données ont dû rencontrer ce genre de choses - il est évident qu'ils écrivent le bon code, mais le site cible n'a pas pour but de fournir des données. À ce moment-là, vous devez vous demander si votre demande n'est pas trop "nue" ? Comme porter un pantalon en été dans un restaurant haut de gamme, le portier ne vous arrête pas pour arrêter qui ?

Et c'est là que nous arrivons à lal'en-tête de la requête se fait passer pourCette compétence permet de sauver des vies. De nombreux sites détecteront les paramètres User-Agent et Accept-Language de l'en-tête de la requête, afin de déterminer si vous êtes un robot. De plus, l'IP proxy est comme une demande de porter une cape d'invisibilité, couplée à un en-tête de requête bien conçu, le taux de réussite peut être doublé.

 Exemple de mascarade basique (trop facile à repérer)
curl -H "User-Agent : Mozilla/5.0" http://example.com

 Voici comment la mascarade avancée devrait fonctionner (avec des IP proxy)
curl -x http://user:pass@gateway.ipipgo.com:9020
-H "User-Agent : Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
-H "Accept-Language : zh-CN,zh;q=0.9,en;q=0.8"
-H "Sec-Fetch-Site : same-site"
http://target-site.com

Deuxièmement, la configuration de l'en-tête de demande des quatre diamants (avec le code actuel)

Ne pensez pas qu'il suffit d'ajouter quelques paramètres pour être trompé, il y a beaucoup de choses à dire ici. Rappelez-vous ces quatre paramètres obligatoires, pour vous assurer que votre requête est aussi stable qu'un vieux chien :

1) User-Agent : ID du navigateur (il est recommandé d'utiliser la dernière version)
2) Accept-Encoding : compression (ne pas utiliser le site qui n'est pas pris en charge)
3) Referer : adresse de la page précédente (chemin d'accès forgé)
4. cookie : identifiants de connexion (mis à jour dynamiquement pour être utiles)

En pratique, il est recommandé d'utiliser le Dynamic Residential Proxy d'ipipgo, leur pool d'IP est mis à jour quotidiennement par 5 millions +, avec ce script pour s'assurer que chaque requête est comme une vraie personne :

PROXY="http://user:pass@rotating.ipipgo.com:9021"
UA=$(shuf -n 1 user-agents.txt) Bibliothèque UA préparée à l'avance

curl -x $PROXY
-H "User-Agent : $UA"
-H "Accept : text/html,application/xhtml+xml"
-H "Connection : keep-alive"
-H "Upgrade-Insecure-Requests : 1"
http://target.com

III. techniques spéciales de contre-surveillance (inconnues du 90%)

Certains sites détectentdemande d'ordre d'en-têteC'est le genre d'opération peu reluisante où il est temps de jouer avec le paramètre -proxy-header :

curl -x http://user:pass@gateway.ipipgo.com:9020
--proxy-header "Proxy-Authorization : Basic base64 string"
-H "Accept-Language : zh-CN"
-H "User-Agent : Mozilla/5.0 (Macintosh ; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Safari/605.1.15"
-H "X-Requested-With : XMLHttpRequest"
http://api.target.com/data

Voici le clou du spectacle : la prise en charge du proxy par ipipgo !Validation dynamique des certificatsLa première est la détection de l'empreinte TLS. Il s'agit d'un grand nombre d'agents libres qui ne peuvent pas faire, la configuration spécifique pour trouver leur technologie pour la clé secrète sur elle.

IV. lignes directrices pour l'apurement des questions fréquemment posées

Q : Ajouter l'en-tête de requête et être quand même banni ?
R : 80% est la qualité de l'IP proxy n'est pas bonne, avec le paquet proxy exclusif d'ipipgo, chaque IP avec une simulation de l'environnement réel du navigateur.

Q : Que se passe-t-il si j'ai besoin d'un CAPTCHA ?
A : Ajoutez "X-Captcha-Key : ipipgo_auto" dans l'en-tête de la requête (il s'agit de leur fonction intégrée d'auto-codage).

Q : Comment faites-vous pour que vos conversations restent cohérentes ?
R : Utilisez la fonctionAgents ayant un long délai de prescription+ Stockage persistant des cookies, la même adresse IP permet de conserver plus de 30 minutes de sessions.

V. Programme de configuration ultime (collection recommandée)

Ce modèle de configuration que j'ai utilisé pendant trois ans ne s'est pas retourné, avec l'agent d'entreprise d'ipipgo, qui exploite quotidiennement des millions de données stables :

! /bin/bash
IPPOOL=("gateway.ipipgo.com:9020" "gateway.ipipgo.com:9021" "gateway.ipipgo.com:9022"))
UA_ARRAY=($(curl -s https://cdn.ipipgo.com/ua_pool))

for i in {1..1000} ; do
  RANDOM_IP=${IPPOOL[$RANDOM % ${IPPOOL[@]}]}
  RANDOM_UA=${UA_ARRAY[$RANDOM % ${UA_ARRAY[@]}]}

  curl -x "http://user:pass@${RANDOM_IP}"
  -H "User-Agent : ${RANDOM_UA}"
  -H "Accept-Encoding : gzip, deflate, br"
  -H "Sec-Fetch-Dest : document"
  -H "Pragma : no-cache" -H "Cache-Control"
  -H "Cache-Control : no-cache" -H "Pragma : no-cache" -H "Cache-Control : no-cache"
  --compressé
  "http://target.com/page=$i" -o "data_$i.html"

  sleep $((RANDOM%5+2)) Les délais aléatoires sont importants !
fait

Enfin, je voudrais dire que les agents libres sont tous des pires, et que vous devriez chercher un fournisseur de services professionnel comme ipipgo. Ils se sont récemment engagés dans des activités, de nouveaux utilisateurs pour envoyer du trafic 10G, assez pour tester. Code en main, le monde que vous avez, levez-vous frères !