Définition des en-têtes curl : configuration de l'UA anti-détection

La pratique du curl pour masquer les empreintes digitales des navigateurs

Les vieux briscards de la collecte de données de réseau savent que le système de contrôle des vents du site web est de plus en plus perfectionné. L'IP proxy ne suffit pas.Si l'en-tête de votre demande apparaît, vous serez reconnu comme un robot en quelques minutes.La première chose dont nous allons parler est l'utilisation de curl pour définir les paramètres UA (user agent). Aujourd'hui, nous allons voir comment utiliser curl pour définir les paramètres UA (user agent), avec le service proxy d'ipipgo, la procédure de collecte déguisée en opération réelle.

Qu'est-ce que l'agriculture urbaine ?

Il s'agit simplement de votre identifiant web. Par exemple, si vous visitez un site web avec Chrome, il portera cette marque par défaut :

Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36 (KHTML, comme Gecko) Chrome/114.0.0.0 Safari/537.36

Si votre requête curl ne contient pas ce paramètre, le serveur le voit :

curl/7.81.0

N'est-ce pas comme étiqueter son cerveau "Je suis un robot" ?

Configuration pratique des paramètres de curl

Un copier-coller sec et direct fonctionne :

curl -H "User-Agent : Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
--proxy http://user:pass@gateway.ipipgo.com:9020
https://目标网站.com

Il convient de noter deux points essentiels :

Les trois pièges de la configuration de l'AU

1. Ne soyez pas paresseux et n'utilisez pas les valeurs par défautCertains développeurs essaient de gagner du temps en écrivant "python-requests/2.28″, ce qui expose immédiatement la fonction

2. Surveiller les mises à jour de la versionLes navigateurs sont des outils d'aide à la décision : N'utilisez pas un numéro de version de navigateur qui date de trois ans, c'est un faux à première vue.

3. Le bon type d'équipement pour le bon travailLes utilisateurs peuvent utiliser l'AU mobile pour la collecte mobile et l'ordinateur de bureau pour la collecte sur PC.

Mieux avec l'agent ipipgo

Il ne suffit pas de changer l'agriculture urbaine.L'adresse IP réelle vous trahira.. Utilisez le proxy résidentiel dynamique d'ipipgo pour changer l'IP de sortie pour une région différente à chaque demande, comme ceci pour mettre en place une rotation aléatoire :

curl -H "User-Agent : votre UA"
--proxy http://user:pass@rotate.ipipgo.com:9030
https://目标网站.com

Avec cette combinaison de coups de poing, le système de contrôle du vent du site web ne peut pas dire s'il s'agit d'une personne réelle ou d'un programme en action.

Foire aux questions QA

Q : Que dois-je faire si je suis toujours reconnu alors que j'ai réglé correctement l'AU ?
R : pour vérifier les autres paramètres de l'en-tête de la requête (Accept-Language, Referer, etc.), il est recommandé d'utiliser la grande réserve de paquets proxy d'ipipgo, qui est dotée d'une fonction de nettoyage de l'en-tête de la requête.

Q : Dois-je maintenir ma propre bibliothèque d'UA ?
R : L'offre Enterprise d'ipipgo propose une base de données UA mise à jour en temps réel, ce qui vous évite d'avoir à la gérer vous-même !

Q : Que dois-je faire si l'adresse IP de mon proxy échoue souvent ?
R : Choisissez une solution avec commutation intelligente, comme l'édition Platinum d'ipipgo, qui élimine automatiquement les nœuds défaillants pour maintenir un taux de disponibilité de 99,9%.

Une dernière remarque.Ne pas utiliser d'agents libres !Ces pools de proxy publics ont depuis longtemps été supprimés par le site web. Le proxy exclusif d'ipipgo est un peu plus cher, mais le taux de réussite en vaut vraiment la peine. Désormais, il est également possible d'envoyer 10G de trafic à l'essai, ce qui est suffisant pour tester.