Exemple de curl-header : Exemple d'en-tête de requête

I. Pourquoi jeter l'en-tête de la requête ?

Les gens utilisent curl pour faire du crawling de données, souvent confronté à la situation d'anti-climbing du site, n'est-ce pas ? Cette fois-ciEn-tête de la demandeC'est votre cape d'invisibilité. Par exemple, certains sites voient que vous utilisez l'agent utilisateur par défaut de curl et bloquent la requête. Une IP proxy avec un en-tête de requête spécifique vous permet de vous faufiler dans les pages web comme dans le navigateur d'une vraie personne.

Deuxièmement, l'entête de la demande de jeu de curl s'articule autour de trois axes

Rappelez-vous cette formule universelle :curl -H "champ d'en-tête : valeur". Trois scénarios réels sont présentés ci-dessous :

 Faux navigateur Chrome
curl -H "User-Agent : Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
--proxy http://user:pass@ipipgo-proxy.com:8080 https://target-site.com

 Types de contenu personnalisés
curl -H "Content-Type : application/json"
--proxy socks5://ipipgo-proxy.com:1080 -X POST -d '{"key" : "value"}' https://api.example.com

 Transporter les identifiants de connexion
curl -H "Authorisation : bearer your_token_here"
--proxy http://ipipgo-proxy.com:3128 https://member-only.site

Troisièmement, la combinaison de l'IP du proxy et de l'en-tête de requête à double épée

L'IP proxy seule revient à porter une robe de nuit pour faire du shopping, et le camouflage de l'en-tête de la requête est la véritable - furtivité. Nous recommandons d'utiliseripipgo Proxy résidentiel dynamiqueLe pool d'IP de leur domicile est automatiquement remplacé chaque jour, avec la combinaison suivante de scripts, effet anti-blocage :

! /bin/bash
for i in {1..10} ; do
  curl -H @headers.txt
  --proxy $(shuf -n 1 ip ipgo-ip-list.txt)
  https://data-scraping-site.com/page=$i
  sleep $((RANDOM % 5 + 2))
done

N'oubliez pas d'enregistrer l'adresse du proxy fournie par ipipgo dans le fichieripipgo-ip-list.txtLes paramètres de l'en-tête de la demande sont placés séparémentheaders.txtGéré dans le dossier.

IV. les nids-de-poule sur lesquels les novices marchent souvent

- Champs d'en-tête sensibles à la casse (Content-Type ≠ content-type)
- Oubli des redirections (plus)-L(Paramètres)
- Confusion des protocoles proxy (les proxys http ne peuvent pas se connecter aux sites https)
- Les changements fréquents d'agents utilisateurs déclenchent un contrôle des risques.

V. Kit de premiers secours AQ

Q : Dois-je encore définir l'en-tête de requête avec le proxy ipipgo ?
R : C'est nécessaire ! L'IP proxy résout le problème du blocage de l'IP et l'en-tête de requête résout le problème de l'identification, ils sont complémentaires.

Q : Pourquoi ma commande curl est-elle toujours interdite même après l'ajout d'un proxy ?
R : Vérifiez trois points : 1. si l'IP proxy est efficace 2. si l'en-tête de la requête est complet 3. si la fréquence d'accès est trop élevée. Il est recommandé d'utiliser la fonctionAgents de rotation intelligentsPaquet avec son propre contrôle de fréquence.

Q : Comment gérer plusieurs en-têtes de requête en bloc ?
A : Recommandé-H @filenamepour stocker les en-têtes des requêtes pour différents scénarios dans plusieurs fichiers, par exemple :

curl -H @mobile_headers.txt --proxy ipipgo-proxy.com:8888 https://m.site.com
curl -H @desktop_headers.txt --proxy ipipgo-proxy.com:8888 https://www.site.com

VI. compétences en matière d'accordage en chambre privée

1. champ Accept-Language généré de manière aléatoire
2. l'ajout d'un en-tête de fonction de navigation sans trace (par exemple, DNT : 1)
3. mélange d'IP statiques à longue durée de vie et d'IP dynamiques pour ipipgo
4. ajuster les informations d'en-tête en fonction du type de serveur web cible (Nginx/Apache est traité différemment)

Un dernier conseil : ne soyez pas idiot et n'utilisez pas l'agent utilisateur par défaut, le webmestre voit l'agent utilisateur par défaut.curl/7.68.0Avec ce type de logo, il n'y a pas à hésiter à le débrancher en quelques minutes. Utilisez les services d'ipipgoServices d'agence au niveau de l'entrepriseLeurs techniciens peuvent également vous aider à mettre en place des stratégies anti-blocage personnalisées, ce qui est beaucoup moins fastidieux que de le faire soi-même.