Curl Passing Headers : Tutoriels sur les en-têtes personnalisés

Pratique de curl et de l'en-tête personnalisé

Aujourd'hui, nous parlons de la façon d'envoyer une requête avec curl pour apporter des biens privés - c'est-à-dire, ces Header personnalisés. engagés dans la collecte de données frères comprennent que certains sites voleurs, attrape spéciale pas avec le blocage de la demande Header. Cette fois, avec ipipgo proxy IP avec l'en-tête personnalisé, peut réduire efficacement la probabilité d'être bloqué.

curl -x http://user:pass@proxy.ipipgo.com:8080 -H "X-Request-From : mytool" https://example.com

Dans la ligne de code ci-dessus, l'élémentLe paramètre -x spécifie le serveur proxyLe -H à la fin est la clé pour insérer l'en-tête personnalisé avec le X-Request-From identifiant la source de la demande. Le -H à la fin est la clé pour insérer l'en-tête personnalisé, ici ajouté X-Request-From pour identifier la source de la requête.

Comment choisir le paramètre de l'en-tête pour ne pas être exposé ?

Écrire nonchalamment Header au lieu d'être facilement identifié, ici pour enseigner quelques routines pratiques :

• Le User-Agent doit contenir: n'utilise pas curl par défaut, il est plus sûr de le déguiser en navigateur !

  
  -H "User-Agent : Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36"
  

• Antiduplication horodatée: quelque chose comme X-Timestamp : 20240620123045.
• identifiant de l'entreprise: par exemple, X-Project : data_crawler_01, pour un dépannage ultérieur.

Conseils sur l'IP du proxy et la correspondance des en-têtes

Lors de l'utilisation du pool de proxy d'ipipgo, il est recommandé de modifier différentes combinaisons d'en-têtes pour chaque requête. Voici un exemple concret :

 Première requête
curl -x http://user:pass@proxy1.ipipgo.com:8888 -H "UA : Chrome/120"

 Nouvelle IP et nouvel en-tête toutes les 5 minutes
curl -x http://user:pass@proxy2.ipipgo.com:8888 -H "UA : Firefox/115"

A suivre.Changement simultané de l'adresse proxy et de l'en-têteIl est donc plus difficile pour le site cible de reconnaître le schéma des requêtes. Les IP proxy d'ipipgo ont une durée de vie de 24 heures, ce qui est largement suffisant pour les utiliser.

Scène de renversement courante AQ

Q : J'ai ajouté l'en-tête et je suis toujours bloqué ?
R : Vérifiez trois choses : 1) si la valeur de l'en-tête contient des caractères spéciaux 2) si l'adresse IP du proxy est efficace 3) si la fréquence des demandes est trop élevée.

Q : Comment puis-je vérifier que l'en-tête fonctionne ?
R : Essayez d'abord d'utiliser cette interface de débogage :

curl -H "Custom-Header : test123" https://httpbin.org/headers

Q : Le proxy d'ipipgo nécessite-t-il une configuration supplémentaire ?
R : Aucune opération complexe n'est nécessaire, il suffit de copier l'adresse donnée par la console dans le fichier curl. Les nouveaux utilisateurs bénéficient d'une période d'essai de 3 jours.

Conseils pour les joueurs avancés

Un conseil pour les conducteurs plus anciens : utilisez une combinaison de délai aléatoire et d'en-tête dynamique. Ecrivez des scripts shell comme ceci, par exemple :

sleep $((RANDOM%10))   随机等0-10秒
curl -x http://user:pass@${PROXY_SERVER} 
     -H "X-Request-ID: $(date +%s)$RANDOM" 
     -H "User-Agent: Mozilla/5.0 (Macintosh; $(uname -m))"

Il est utilisé iciLes variables du système génèrent des valeurs dynamiquesLe proxy IP d'ipipgo permet de lancer 2000 connexions en même temps, avec ce type d'opération, l'efficacité de la collecte est directement tirée vers le haut.

Enfin, ne paniquez pas si vous obtenez une erreur 403, allez sur ipipgo et vérifiez la disponibilité de l'IP. Leur pool de proxy est automatiquement mis à jour toutes les 15 minutes, et un changement d'IP peut résoudre le problème. N'oubliez pas.De bons outils + la bonne postureC'est la meilleure façon de procéder !