En-tête de la requête cURL : Proxy IP Emulation Browser Settings (Paramètres du navigateur)

Utilisation de cURL pour masquer les requêtes du navigateur

Les amis crawleurs ont dû rencontrer une telle situation : le code est manifestement bien écrit, mais le site cible a soudainement bloqué l'IP. À ce stade, nous devons inviter les deux principaux trésors - leIP proxyrépondre en chantantl'en-tête de la requête se fait passer pourLe premier est le cURL, qui est le plus populaire. Aujourd'hui, prenons l'exemple de cURL et expliquons comment jouer sur ces deux tableaux.

Pourquoi s'embêter avec des adresses IP proxy ?

Par exemple, si vous allez tous les jours au supermarché du quartier pour acheter des œufs et que vous portez des vêtements rouges trois jours de suite, le quatrième jour, le patron vous dira simplement : "Les vêtements rouges ne sont pas à vendre". Le quatrième jour, le patron dira : "Pas de vêtements rouges ! L'agent IP, c'est comme changer de couleur de vêtements tous les jours, de sorte que le patron du supermarché ne puisse pas reconnaître la même personne.

Utiliser le service proxy d'ipipgo équivaut à disposer d'une garde-robe complète de vêtements que l'on peut changer à volonté. Leur pool d'IP dynamiques est si profond qu'ils peuvent vous attribuer un nouveau gilet à chaque demande, ce qui est beaucoup plus stable que ces petits proxys d'atelier.

cURL Basic Camouflage

Commençons par un code de base :

curl https://example.com

Ce type de demande équivaut à sortir dans la rue sans vêtements, le serveur la reconnaît comme un accès à une machine au premier coup d'œil. Nous devons l'habiller :

curl -H "User-Agent : Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
     -H "Accept-Language : zh-CN,zh;q=0.9"
     -H "Referer : https://www.google.com/"
     https://example.com

Ces en-têtes de requête agissent comme des informations d'identification, déguisant le crawler en un utilisateur Internet ordinaire. Attention.User-AgentOptez pour une version courante du navigateur, ne vous fiez pas aux modèles antiques dépassés.

Mettre un gilet de proxy sur cURL

Il ne suffit pas de la déguiser, il faut aussi cacher l'IP réelle. Utiliser le service proxy d'ipipgo revient à demander à un intermédiaire de faire vos courses à votre place :

curl -x http://username:password@proxy.ipipgo.cc:8080
     -H "User-Agent : Mozilla/5.0..."
     https://target-site.com

Trois choses à noter ici :

1. Ne vous trompez pas dans l'orthographe de l'adresse du proxy, le backend utilisateur d'ipipgo dispose d'un outil de génération prêt à l'emploi.
2. Remplacez le mot de passe par le vôtre, ne soyez pas idiot et utilisez celui de l'exemple.
3. N'oubliez pas de tester d'abord si le proxy est connecté, vous pouvez utiliser curl pour visiter ip.ipipgo.com pour voir si l'adresse IP renvoyée est correcte.

Techniques avancées de camouflage

Certains sites web sont des voleurs et vérifient davantage de paramètres. C'est à ce moment-là qu'une solution de camouflage plus complète est nécessaire :

Le code se présente comme suit lorsqu'il est complètement armé :

curl -x http://ipipgo_proxy
     -H "User-Agent : Mozilla/5.0..."
     -H "Accept : text/html,application/xhtml+xml..."
     -H "Accept-Encoding : gzip, deflate, br"
     -H "Connection : keep-alive" -H "Connection : keep-alive"
     --compressé
     https://target-site.com

Foire aux questions QA

Q : Ai-je utilisé un proxy ou ai-je été bloqué ?
R : Vérifiez deux points : 1. si l'en-tête de la requête est complet 2. la qualité de l'IP du proxy. Il est recommandé d'utiliser la fonctionAgents dynamiques de qualitéLeurs adresses IP sont de courte durée, mais de grande qualité et adaptées aux demandes à haute fréquence.

Q : Que dois-je faire si mon agent est lent ?
R : La priorité est accordée aux nœuds géographiquement proches. La fonction de routage intelligent d'ipipgo fait automatiquement correspondre les itinéraires les plus rapides, ce qui vous épargne beaucoup de travail par rapport à une commutation manuelle.

Q : Que se passe-t-il si j'ai besoin d'une IP multirégionale ?
R : En arrière-plan de l'adresse proxy ipipgo pour ajouter des paramètres régionaux sur la ligne, tels que&region=shanghaiSpécifier le nœud de Shanghai, ou&city=randomChanger de ville au hasard.

Guide pour éviter la fosse

Les débutants commettent souvent l'erreur suivanteexagérer l'apparence. Par exemple, l'ajout de divers paramètres dans l'en-tête de la requête a pour effet d'exposer des exceptions. N'oubliez pas les trois principes :

1. Les valeurs des paramètres doivent être logiques (par exemple, les UA des téléphones portables ne contiennent pas d'informations sur le système Windows).
2. Les en-têtes doivent être cohérents (par exemple, Accept et Content-Type doivent correspondre).
3. Maintenir les paramètres à jour (mise à jour trimestrielle du numéro de version du navigateur)

Enfin, j'aimerais vous présenter ipipgo.Emulation de l'empreinte digitale du navigateurLes paramètres de l'en-tête de requête peuvent être générés automatiquement, ce qui est beaucoup plus simple que de les configurer manuellement. En particulier pour les projets de collecte à long terme, il est recommandé d'utiliser directement la version entreprise du logiciel, avec un remplacement automatique de l'IP et des en-têtes de requête de l'ensemble des programmes.