Astuce pour les requêtes à plusieurs en-têtes : traitement de données en masse par cURL

C'est une astuce géniale ! Camouflage d'en-tête avec cURL !

Les conducteurs plus âgés qui s'engagent dans la collecte de données savent que le mécanisme anti-escalade du site web cible est exactement comme un radar, verrouillant votre IP réelle en quelques minutes.lit. peindre en tenant deux pinceaux (idiome) ; fig. travailler sur deux tâches en même tempsLes deux méthodes sont les suivantes : l'utilisation d'un proxy IP furtif, mais aussi l'apprentissage de l'en-tête de requête (Header) pour changer de peau. Prenons l'exemple de cURL, beaucoup de personnes n'utiliseront que le paramètre -A pour changer le User-Agent, en fait, ce n'est qu'un début.

Récemment, j'ai aidé un ami à déboguer un script et j'ai trouvé un cas diabolique : une plateforme de commerce électronique a manifestement une IP proxy, mais elle était toujours interdite avec un UA aléatoire, et j'ai alors ajouté un en-tête de requête avecAccept-Language : zh-CN,zh;q=0.9Ce paramètre froid double directement le taux de réussite. Cela indique que le système d'anti-escalade va maintenantCombinaison de plus de 20 champs d'en-têtepour identifier le trafic des machines.

Je vous apprendrai à fabriquer de fausses identités en masse.

Tout d'abord, préparez un fichier headers.txt, écrivez une combinaison différente de Header sur chaque ligne, pour donner un exemple de la configuration dans un projet réel :

Connexion : keep-alive
Acceptation : text/html,application/xhtml+xml
Accept-Encoding : gzip, deflate, br
Cache-Control : max-age=0

Connexion : close
Acceptation : /
Accept-Encoding : identity
Cache-Control : no-cache

Notez l'utilisation délibérée demélanger les majuscules et les minuscules(comme Keep-Alive écrit comme keep-alive), certains systèmes plus anciens sont sensibles à la casse. Lorsque vous utilisez le proxy résidentiel d'ipipgo, n'oubliez pas d'ajouter ces trois lignes au script :

-x http://用户名:密码@gateway.ipipgo.com:9021
--proxy-anyauth
--connect-timeout 20

Le compte-rendu d'une opération peu glorieuse lors de la bataille proprement dite

La semaine dernière, j'ai découvert un phénomène métaphysique : la même combinaison d'en-têtes, avec des régions différentes du proxy, a permis d'obtenir trois fois le même taux de réussite. Plus tard, j'ai vu dans l'arrière-plan d'ipipgoSegment IP de la salle des serveursrépondre en chantantSegment IP haut débit domestiquedes comparaisons de taux de survie, ont permis de réduire de manière décisive le nombre d'agents résidentiels.

C'est là que le bât blesse :Ne pas changer d'en-tête dans l'ordre cyclique! Il est préférable d'utiliser un générateur de nombres aléatoires pour perturber l'ordre, ou d'utiliser un algorithme d'attribution de poids. J'ai eu la flemme une fois d'utiliser une boucle séquentielle, et j'ai fini par être bloqué toutes les 30 requêtes, régulier comme un réveil.

Un guide pour éviter les pièges (édition des leçons de sang)

La session d'assurance qualité mentionne quelques mines courantes sur lesquelles les débutants marchent :

Q : Pourquoi est-il toujours reconnu après avoir ajouté le référent ?
R : 80% du nom de domaine du référent et la demande actuelle ne correspondent pas, par exemple, de Taobao sauter à Jingdong, mais n'a pas changé le référent. La fonction de localisation IP d'ipipgo, correspond automatiquement à la région proxy correspondant au nom de domaine du site Web principal.

Q : Les cookies doivent-ils être remplacés de manière aléatoire ou non ?
R : Cela dépend du site web concerné ! Certaines plateformes enregistrent des cookiesempreinte digitale de l'appareilun changement soudain déclenche au contraire la validation. Il est recommandé d'utiliser le proxy à court terme d'ipipgo pour tester d'abord différentes stratégies.

Q : Que dois-je faire si je rencontre une protection Cloudflare ?
R : C'est très difficile à obtenir, mais il y a un joker : ajouter dans l'en-têteRequêtes de mise à niveau non sécurisée : 0puis avec celui d'ipipgoAgents très anonymes(Notez que vous devez choisir un nœud qui prend en charge le protocole HTTP/2).

Pourquoi recommandez-vous ipipgo ?

Après avoir essayé une douzaine de services proxy, j'ai fini par utiliser ipipgo à long terme pour trois raisons :
1. leur domicilemappage dynamique des portsTechnologie qui contourne automatiquement les tactiques de blocage les plus courantes
2) La vitesse de réponse du service clientèle est comme un pendu : la dernière fois que j'ai demandé un travail à 3 heures du matin, j'ai reçu une solution en 5 minutes.
3. le système de prix est favorable aux petits et moyens projets, contrairement à certains grands acteurs qui doivent payer à partir de 100 000 dollars par an.

L'essentiel est de soutenirAuthentification par liste blanche d'en-têtesSi vous souhaitez utiliser cette fonctionnalité, vous pouvez écrire le mot de passe de votre compte directement dans l'en-tête de la requête, ce qui est beaucoup plus sûr que la méthode d'authentification traditionnelle. L'utilisation spécifique de la documentation officielle, il n'est pas pratique de la détailler ici.

Enfin, ne perdez pas votre temps avec des proxies gratuits ! L'année dernière, un ami a essayé de s'épargner des ennuis en utilisant une IP gratuite et a fini par collectercode malveillant injectéToute la base de données est obsolète. Les tâches professionnelles sont toujours laissées à l'armée régulière, comme la fiabilité d'ipipgo.