Authentification de base Curl : exemple de requête autorisée

Handyman vous apprend à jouer avec les requêtes IP de proxy avec des mots de passe en utilisant curl

Que craignent le plus les robots d'indexation ? Les deux minutes qui suivent le blocage de la collecte d'adresses IP ! Cette fois, l'IP du proxy est votre bouée de sauvetage. Aujourd'hui, nous allons prendre la commande curl la plus courante pour commencer, dire comment prendre le mot de passe du compte à travers le proxy pour accéder au site.

Ne vous laissez pas décourager par la certification de base.

Beaucoup de sites web sont comme les guichets d'un parc d'attractions, il faut prendre le ticket d'entrée.Nom d'utilisateur + mot de passeQuand les billets. N'oubliez pas ce format universel si vous utilisez curl :

curl -U "account:password" http://目标网址

Mais attention ! Cela équivaut à écrire votre mot de passe à la vue de tous, et si vous utilisez un proxy... (nous y reviendrons).

La bonne façon d'ouvrir un proxy IP

En utilisant le proxy d'ipipgo comme exemple (son proxy avec authentification), vous devez mettre l'information d'authentificationAdresse de l'agent: :

curl -x http://用户名:密码@proxy.ipipgo.cn:8080 http://目标网站

C'est là que le bât blesse !Ne pas utiliser de symboles spéciaux pour le nom d'utilisateur et le mot de passe, en particulier @ et ces, font exploser votre demande en place en quelques minutes.

Pratique : guide du vieux conducteur de crawler

Supposons que vous ayez acheté un forfait à court terme auprès d'ipipgo pour saisir le prix d'un site de commerce électronique :

curl -x http://vipuser:8k9d!m2@proxy.ipipgo.cn:3128
-H "User-Agent : Mozilla/5.0"
https://target-site.com/products

Notez les trois points :

Trousse de premiers secours pour les scènes de renversement

Q : Que dois-je faire si je ne peux pas me connecter à l'agent ?
R : Commencez par tester le réseau à l'aide de cette commande :telnet proxy.ipipgo.co.uk 3128Voir le mot Connecté

Q : Une erreur de certificat est-elle toujours affichée ?
A : A la fin de la boucle, ajouter-kParamètres, mais ne l'utilisez pas pour des opérations sensibles

Q : Quel est le forfait ipipgo le plus avantageux ?
A : Pour ramperAgents résidentiels dynamiquesLe processus d'enregistrement.IP statique de longue duréeN'oubliez pas d'utiliser le code promo IPGO7 pour obtenir 30% de réduction sur votre première commande pour les nouveaux clients.

Conseils des meilleurs d'entre eux

1. écrire la configuration du proxy à~/.curlrcce qui vous évite de devoir appuyer sur la commande à chaque fois :
proxy = http://用户:密码@proxy.ipipgo.cn:端口

2) Si vous devez changer l'IP du proxy, utilisez la fonctionInterface APIAcquisition dynamique :
curl api.ipipgo.com/getproxy?token=votre clé

N'oubliez pas qu'un bon proxy est comme l'essence pour une voiture de sport, et qu'un fournisseur comme ipipgo, qui dispose de sa propre salle de serveurs, est beaucoup plus stable que les proxys de seconde main. Récemment, ils ont fait unLe flux peut être reportéLes campagnes qui n'épuisent pas le trafic peuvent être relancées le mois suivant, en particulier pour les équipes dont les projets sont instables.