curl avec en-tête de requête | Simuler l'accès du navigateur aux compétences d'installation

I. Pourquoi dois-je faire semblant d'y accéder en tant que navigateur ?

Beaucoup de sites sont maintenant avec le voleur comme, voir le direct curl envoyer une demande de dump face. Par exemple, vous utilisez l'outil en ligne de commande curl pour saisir directement des données, neuf fois sur dix vous recevrez 403 forbidden. cette fois à la requêteSe maquiller.Le serveur a ainsi l'impression qu'une personne réelle travaille avec un navigateur.

Voici un piège à éviter : certains sites ne se contentent pas de vérifier l'agent utilisateur, mais examinent également la langue d'acceptation, le référent et ces paramètres. C'est comme lorsque vous allez dans un restaurant chic, vous ne devez pas vous contenter de regarder ce que vous portez, vous devez dire le bon mot de passe pour entrer.

Deuxièmement, la main pour vous apprendre l'art du camouflage des boucles

Prenons d'abord l'exemple le plus simple :

curl -H "User-Agent : Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" https:/ /example.com

Voici-Paramètre HC'est le commutateur qui insère des éléments dans l'en-tête de la requête. Concentrez-vous sur les champs à truquer en regardant ce tableau :

Troisièmement, avec la période d'enquête par procuration, plus d'assurance

Il ne suffit pas de modifier l'en-tête de requête, certains sites sont rancuniers - ils bloquent les IP lorsqu'ils constatent des visites suspectes, il est donc temps d'utiliser l'optionServices proxy pour ipipgode mener une guérilla. Cela se fait en trois étapes :

1) Tout d'abord, allez sur le site officiel d'ipipgo pour obtenir un package, il est recommandé de choisir l'IP résidentielle dynamique (c'est celle qui ressemble le plus à une personne réelle).
2) Obtenir l'adresse de l'API et le numéro de port.
3. ajouter le paramètre proxy à la commande curl.

La commande complète se présente comme suit :

curl -x http://username:password@proxy.ipipgo.com:port -H "User-Agent : Browser UA" https://目标网站

IV. kit pratique de premiers secours pour l'AQ

Q : Que dois-je faire si j'ajoute un en-tête de requête et que je suis toujours reconnu ?
R : Il est probable que le cookie soit exposé. Tout d'abord, utilisez votre navigateur pour visiter le site une fois, copiez le cookie, puis utilisez la fonction-H "Cookie : xxx"Paramètres à mettre en place.

Q : Combien de fois dois-je utiliser l'IP proxy avant qu'elle n'expire ?
R : Dans cette situation, il est recommandé de modifier les paramètres d'ipipgo.forfait de facturation basé sur la quantitéIls disposent d'un pool d'adresses IP qui se met rapidement à jour et qui change automatiquement d'adresse IP à chaque demande, ce qui vous évite d'avoir à les changer manuellement.

Q : Que se passe-t-il si je dois simuler l'accès à un téléphone portable ?
R : Changez le User-Agent pour la version mobile, par exemple :

Mozilla/5.0 (iPhone ; CPU iPhone OS 14_7_1 comme Mac OS X) AppleWebKit/605.1.15 (KHTML, comme Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1

V. Compétences avancées des joueurs

Lorsque vous tombez sur un site web particulièrement difficile, essayez ces astuces préjudiciables :
- Hibernation aléatoire : préfixer la commande curl pardormir $((RANDOM%5+2)) Faites semblant de penser à la vie.
- Utilisation mixte : échange d'adresses IP résidentielles et d'adresses IP de salles de serveurs (ipipgo possède les deux types d'adresses)
- Request header shuffle : ajuster aléatoirement l'ordre de l'en-tête à chaque fois, de sorte que le site ne puisse pas se soustraire à la loi.

Enfin, un point essentiel : lorsque vous utilisez une IP proxy, n'oubliez pas de choisir quelque chose comme ipipgo.Fournir des informations complètes sur l'en-tête HTTPles fournisseurs de services. Certains serveurs mandataires bon marché ne transmettent pas ces en-têtes X-Forwarded-For et sont donc facilement exposés.