La commande curl avec l'en-tête de requête : configuration avancée des requêtes

Qu'est-ce qu'un en-tête de requête ? Commençons par les principes de base

Nous utilisons généralement curl pour envoyer une requête comme pour envoyer un courrier, l'en-tête de requête est attaché au colis.Étiquetage logistiquePar exemple, dites-leur : "Je demande à partir d'un téléphone Android" ou "Je supporte la compression". Par exemple, indiquez à l'autre partie : "Je demande à partir d'un téléphone Android" ou "Je supporte le format compressé". Certains sites web bloquent spécifiquement les demandes sans en-tête, ce qui nous oblige à falsifier manuellement le numéro du bon de livraison.

Par exemple, un site web n'accepte que les visites provenant du navigateur intégré de WeChat. Nous utilisons l'accès direct curl ordinaire, mais cette fois-ci, l'en-tête de requête peut être trompé :

curl -H "User-Agent : MicroMessenger/8.0"
-H "Referer : https://servicewechat.com/"
https://目标网站.com

Les IP proxy et les en-têtes de requête sont de bons amis.

Utiliser une IP proxy seule, c'est comme sortir avec un masque, mais on vous reconnaîtra toujours si vous portez vos vieux vêtements. C'est ici que l'en-tête de la requête est votreaccessoires. Lorsque vous utilisez le service proxy d'ipipgo, il est recommandé de configurer les trois en-têtes de clé en même temps :

Configuration avancée pratique

Voici un exemple concret d'utilisation du proxy résidentiel d'ipipgo + des en-têtes de requête personnalisés pour la collecte de données :

curl -x http://user:password@proxy.ipipgo.com:8000
-H "User-Agent : Mozilla/5.0 (iPhone ; CPU iPhone OS 14_7_1 like Mac OS X)"
-H "Accept-Encoding : gzip, deflate" -H "Cookie : sessionid=abc123"
-H "Cookie : sessionid=abc123" -H "Cookie : sessionid=abc123" -H "Cookie : sessionid=abc123" -H
--connect-timeout 15
--max-time 30
https://目标网站.com/api/data

Le Blackboarding va droit au but :

• Paramètre -xSpécifiez le serveur proxy, n'oubliez pas de remplacer le nom d'utilisateur et le mot de passe de ipipgo.
• -connect-timeoutContrôler le temps d'attente de la connexion et l'interrompre s'il est trop long.
• User-AgentDéguisé en téléphone Apple ici, ajusté à la cible

Lignes directrices en matière de premiers secours pour les situations de renversement les plus courantes

Q : Après avoir ajouté l'en-tête de requête, le site web me refuse toujours l'accès ?
A : Essayez ces deux astuces : 1) Changez le paquet proxy mobile d'ipipgo 2) Ajoutez le paramètre X-Forwarded-For dans l'en-tête de la requête.

Q : L'IP Proxy devient soudainement une vitesse de tortue ?
R : 80% est dû à la congestion du réseau, le backend d'ipipgo a unCommutation intelligentel'ajout du paramètre -proxy-anyauth à la commande curl sélectionnera automatiquement la route la plus rapide

Q : Que se passe-t-il si je veux traiter des demandes HTTPS ?
R : Changez le protocole du proxy de http à https, par exemple :

curl -x https://user:password@proxy.ipipgo.com:8001 ...

C'est ainsi que l'on obtient deux fois plus de résultats avec deux fois moins d'efforts.

1) Pour les demandes par lots, utiliser le logiciel ipipgomaintien de la sessionajoute un identifiant de connexion fixe dans l'en-tête de la requête afin de s'assurer que la même adresse IP de sortie est utilisée à chaque fois.

2. collection de ressources d'images, n'oubliez pas d'ajouter Accept : image/webp à cet en-tête, ce qui peut réduire la consommation de trafic 30%

3. ne pas paniquer en rencontrant le code de vérification, l'en-tête de la requête User-Agent a changé pour la dernière version de Google Chrome, le taux de réussite a immédiatement augmenté 50%

Enfin, à titre anecdotique, ipipgo a récemment été mis en ligne !Bibliothèque de modèles d'en-têtes de demandeIl intègre des configurations d'en-tête de demande pour plus de 200 appareils courants, de sorte que vous pouvez l'utiliser en copiant et collant directement, ce qui vous permet d'économiser du temps et des efforts. Les nouveaux utilisateurs peuvent également s'inscrire pour bénéficier d'une période d'essai de 3 jours de l'offre Premium, ne la manquez pas !