Pythonrequêtes Authentification de base : Configuration de l'accès privilégié

Que faire lorsqu'un crawler rencontre une fenêtre pop-up de validation ?

Les frères engagés dans le crawling le comprennent, rencontrer le genre de mot de passe de compte à perdre le plus de maux de tête du site. Tout comme vous allez chez quelqu'un pour frapper à la porte, le portier doit vous demander de présenter le permis de travail pour vous laisser entrer. Cette fois-ciFonctions d'authentification de base de la bibliothèque de requêtesC'est votre cheval de bataille à tout faire. Utilisons Python, ajoutons simplement un paramètre auth au code et nous sommes prêts à partir :

Importation de requêtes
from requests.auth import HTTPBasicAuth

response = requests.get(
    'https://需要认证的网址', auth=HTTPBasicAuth('username', 'password')
    auth=HTTPBasicAuth('nom d'utilisateur', 'mot de passe')
)

Mais c'est là que le bât blesse, car certains sites web bloquent les IP fréquemment visitées. Cette fois, vous devez trouver un service proxy fiable, comme si à chaque fois vous frappiez à la porte pour qu'un coursier différent livre la marchandise. Nous vous recommandons d'utiliserServices proxy pour ipipgoLeur maison offre des IP dynamiques de qualité résidentielle, la solution parfaite au problème du blocage des IP.

Mettre une cape d'invisibilité sur les demandes

Pour aller droit au but, comment configurer la double protection proxy + authentification dans les requêtes :

proxies = {
    'http' : 'http://用户名:密码@ipipgo proxy address:port',
    'https' : 'http://用户名:密码@ipipgo proxy address:port'
}

response = requests.get(
    'Destination URL', 'https' : '@ipipgo proxy address:port' }
    auth=HTTPBasicAuth('Site Account', 'Site Password'),
    proxies=proxies
)

Voici un piège à éviter :L'authentification de l'agent et l'authentification du site web sont deux choses différentesJe ne suis pas sûr de pouvoir le faire ! Comme si vous vouliez entrer dans le portail de la communauté (serveur proxy) en effleurant la carte d'accès, dans le bâtiment cellulaire (site cible) et que vous deviez entrer le mot de passe.Forfait agent privéLes informations d'authentification sont propres à chaque IP proxy.

Guide pratique pour éviter la fosse

Citez quelques conséquences courantes pour les débutants :

1. Mauvais protocole pour l'adresse du proxy (site https avec proxy http)
2. Informations d'authentification contenant des caractères spéciaux non encodés dans l'URL
3. La validation du certificat SSL n'est pas gérée (avec le paramètre verify=False)

Donnez un exemple de la manière correcte de l'écrire :

from urllib.parse import quote

 Gestion des mots de passe spéciaux
safe_pass = quote('abc@123')
proxies = {
    'https' : f'http://ipipgo_user:{safe_pass}@proxy.ipipgo.com:9020'
}

QA Time : Questions et réponses à haute fréquence

Q : Pourquoi est-il toujours reconnu après l'utilisation d'un proxy ?
R : Vérifiez le type de proxy, recommandez ipipgo'sAgents à forte valeur ajoutéeLa véritable adresse IP est complètement cachée.

Q : Comment gérer la nécessité d'une authentification de l'agent et d'une authentification du site web ?
R : Comme dans l'exemple de code précédent, les paramètres proxies et auth doivent être définis séparément.

Q : Comment vérifier l'efficacité de l'agent ?
R : Vous pouvez d'abord visiter le site httpbin.org/ip pour vérifier l'adresse IP renvoyée.

Pourquoi ipipgo ?

Une comparaison en conditions réelles des performances des trois fournisseurs de services de procuration :

En particulier, leurTechnologie de routage intelligentLe meilleur nœud est celui qui peut automatiquement correspondre au nœud optimal. La dernière fois que nous avons aidé des clients à collecter des données gouvernementales, les agents ordinaires sont restés bloqués dans la session de vérification pendant une demi-heure, et nous avons changé d'agent ipipgo après 10 minutes pour accomplir toutes les tâches de collecte.

Parlez avec votre cœur.

Le proxy est comme un outil de crochetage de serrure, bien l'utiliser pour améliorer l'efficacité, mal l'utiliser... (vous savez). Il est conseillé d'utiliser ipipgo dans un premier temps.forfait de paiement à l'utilisationLa première chose que je veux faire est de le tester avant de le mettre en lot. Le service technique à la clientèle est vraiment disponible en ligne 7 × 24, les trois dernières heures du matin ont été consacrées à des problèmes de configuration d'agents, et les secondes qui ont suivi ont permis de trouver une solution, ce point est vraiment consciencieux.