Requêtes curl avec en-têtes : exemple de configuration de l'anti-détection

Les mains sur le curl pour cacher les pieds du cheval

Les vieux briscards qui s'occupent des demandes de réseau savent qu'aujourd'hui le mécanisme d'anti-escalade des sites est de plus en plus raffiné. L'IP proxy ne suffit pas, il faut demander la tête de toute l'opération comme une vraie personne. Aujourd'hui nous prenons la commande curl la plus courante pour commencer, disons comment configurer le site cible pour qu'il ne puisse pas vous reconnaître comme une machine.

Pourquoi le demandeur l'a-t-il jeté ?

De nombreux débutants pensent qu'il n'y a pas de problème à utiliser une adresse IP proxy.Il y a beaucoup de trous dans l'en-tête de la demande.. Donnez-moi une châtaigne :

curl http://example.com

Cette requête par défaut exposera votre version de curl, les webmasters verront cet en-tête de fonctionnalité et bloqueront votre IP en quelques minutes, tout ce que nous avons à faire est de changer l'en-tête de requête pour qu'il soit exactement le même que celui du navigateur.

Modèles de configuration du monde réel

Voici une configuration testée et fonctionnelle (n'oubliez pas de remplacer le proxy par le vôtre) :

curl -x http://username:password@gateway.ipipgo.net:9020
-H "User-Agent : Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
-H "Accept-Language : zh-CN,zh;q=0.9"
-H "Referer : https://www.google.com/"
-H "Sec-Fetch-Dest : document" -H "Sec-Fetch-Dest : document" -H "Sec-Fetch-Dest : document"
https://target-site.com

Quelques points clés :

Facile de marcher sur la fosse

1. User-Agent expiré: N'utilisez pas une ancienne version du navigateur UA, il est recommandé de mettre à jour le numéro de version une fois par mois.
2. Conflits de paramètres linguistiques: Accept-Language sans en, à moins que vous ne souhaitiez visiter un site en anglais.
3. Instabilité des agentsIl est recommandé d'utiliser le proxy exclusif d'ipipgo, le taux d'échec réel peut être réduit à 0,3% ou moins.

Temps consacré à l'assurance qualité

Q : Dois-je encore modifier l'en-tête de la requête pour utiliser le proxy à haut niveau d'anonymat ?
R : Il faut le changer ! High Stash ne peut cacher que l'IP, les caractéristiques de l'en-tête de la requête seront toujours reconnues !

Q : Comment choisir une adresse proxy pour ipipgo ?
R : Il existe un générateur de code prêt à l'emploi dans le backend de la page web, choisissez le mode "curl+anti-détection" et copiez-le directement.

Q : Est-il préférable d'avoir plus de paramètres d'en-tête de requête ?
A : Grosse erreur ! L'ajout d'un trop grand nombre de paramètres non utiles est plutôt suspect, selon le modèle que nous donnons suffisamment !

compétence avancée

1) Délai aléatoire : ajouter sleep $((RANDOM%5)) avant la commande pour faire une pause aléatoire de 0 à 5 secondes.
2. rotation des UA : stocker les UA les plus utilisées dans un fichier txt et les lire de manière aléatoire pour chaque requête.
3. camouflage du protocole : le proxy d'ipipgo prend en charge les modes socks5 et http, il est donc recommandé de les mélanger.

La dernière chose que je voudrais vous rappeler est que la configuration est parfaite, mais que la qualité du proxy n'est pas suffisante. Récemment, lorsque j'ai aidé un client à déboguer, j'ai constaté que le taux de réussite du proxy ordinaire n'était que de 78%, alors que le paquet commercial d'ipipgo atteignait directement 99,6%. C'est comme porter des vêtements, il faut faire attention à la veste (proxy) et aux sous-vêtements (en-tête de la requête).