cURL Modifier les paramètres de l'en-tête de l'agent utilisateur : Proxy IP Request Header

Ne laissez pas l'agent utilisateur vous trahir !

Vous avez le vieux fer dans l'utilisation de crawler saisir les données, certainement rencontré le site web mort ne permettent pas l'accès à la situation, non ? En ce momentUser-Agentest votre nerf de la guerre. Pour donner un marronnier, vous utilisez l'en-tête de requête cURL par défaut, le serveur jette un coup d'oeil : "Oh, curl/7.68.0 ce petit morveux pour voler des données encore", directement à vous 403 bloqué sans négociation.

 Trouver un moyen de demander un hit
curl https://example.com

Joli déguisement.

C'est le moment d'offrirCamouflage de l'agent utilisateurC'est la première fois que je vois cela. Le technicien de notre ipipgo l'a testé, et le taux de réussite peut être multiplié par trois avec la pose suivante :

curl -A "Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36..."
--proxy http://user:pass@proxy.ipipgo.com:8888
https://target-site.com

C'est là que le bât blesse :-Paramètre AIl s'agit de changer le commutateur User-Agent, et la chaîne de texte martienne connectée à l'arrière devrait ressembler à un véritable navigateur. Il est recommandé de copier la dernière version de l'AU à partir des outils de développement du navigateur, et de ne pas utiliser les modèles périmés que l'on trouve sur l'internet.

Partenaire Gold de Proxy IP

Changer votre UA ne suffit pas, les sites intelligents se souviendront de votre IP, et c'est là que nous intervenons.Proxy résidentiel dynamique pour ipipgoL'effet est comparable à celui de dix couches de bas sur une demande :

Le code réel s'écrit comme suit :

curl -x http://user:pass@proxy.ipipgo.com:8888
-H "User-Agent : Mozilla/5.0 (Macintosh ; Intel Mac OS X 10_15_7)..."
-H "Accept-Language : zh-CN,zh;q=0.9"
https://data-source.com/api

Regardez le paramètre -H.Ici, en plus de l'UA, on a également ajouté l'identification de la langue. Certains sites calibrent l'information multidimensionnelle, alors ne tombez pas dans le caniveau.

Guide pour éviter la fosse

Une scène de renversement courante pour les débutants :

1. Inadéquation des paramètres locaux de l'UA et de l'IP (par exemple, utilisation d'un UA chinois avec une IP américaine)
2. L'oubli du paramètre timeout provoque un bourrage
3. Oublier de changer de pool d'adresses IP pour les demandes à haute fréquence

Recommandé pour ipipgoModèle de rotation intelligentqui gère automatiquement le changement d'adresse IP. Exemple de code :

curl --proxy http://user:pass@auto-rotate.ipipgo.com:8899
---max-time 30
-A "Mozilla/5.0 (iPhone ; CPU iPhone OS 16_6 like Mac OS X)..."
https://mobile-site.com

Foire aux questions QA

Q : Que se passe-t-il si l'UA est toujours reconnue bien qu'elle soit déguisée ?
R : Quatre-vingt pour cent des autres chefs de file demandeurs se sont présentés avec lacurl -vAffichez l'en-tête complet de la requête et générez un ensemble complet de déguisements avec l'outil de modèle d'en-tête de requête d'ipipgo.

Q : Comment résoudre le problème de la lenteur de la vitesse IP du proxy ?
A : Commutation dans la console ipipgo低节点Plus--connect-timeout 10qui est automatiquement supprimée après 10 secondes.

Q : Que se passe-t-il si j'ai besoin d'une requête multithread ?
R : Utilisez la fonctionautorisation simultanéeavec des proxies séparés pour chaque thread, ne partage jamais une IP avec plusieurs threads.

Enfin, de nombreux sites web disposent désormais d'un système de gestion de l'information.Système d'analyse comportementaleSi vous souhaitez modifier votre adresse UA et IP, n'oubliez pas de contrôler la fréquence des demandes. Si vous n'y arrivez vraiment pas, le support technique d'ipipgo est disponible 24 heures sur 24, et vous pouvez obtenir des heures de test gratuites en signalant le mot de code "UA".