Python Crawl : un guide pratique de la bibliothèque Requests

Python crawling est contre-crawlé jusqu'à la calvitie ?

Faire crawler le vieux fer a dû rencontrer ce genre d'embarras : hier, c'était un bon script, aujourd'hui, c'est soudain le site cible qui a été tiré au noir. C'est à ce moment-là qu'il fautIP proxyCet artefact vient à la rescousse. C'est comme porter un masque lors d'une mascarade : chaque fois que vous vous rendez sur le site avec une adresse IP différente, le site web ne vous reconnaîtra pas comme la même personne.

L'acquisition de droits pour les demandes

L'utilisation de proxies dans les requêtes est simple comme bonjour, souvenez-vous de ce modèle universel :

demandes d'importation

proxies = {
    'http' : 'http://用户名:密码@ipaddress:port',
    'https' : 'https://用户名:密码@adresseip:port'
}

resp = requests.get('target url', proxies=proxies)

Voici un coup d'éclat :Les proxys http et https doivent être écrits séparément.J'ai vu beaucoup de gens tomber dans ce piège. Si vous utilisez le service proxy d'ipipgo, leur arrière-plan générera automatiquement ce code de configuration, copiez-le et collez-le directement, ce qui vous épargnera beaucoup de travail.

Cas pratique : surveillance des prix du commerce électronique

Prenons un exemple concret. La page des prix d'une plateforme de commerce électronique sera bloquée après 20 visites consécutives. Le Dynamic Residential Proxy d'ipipgo peut être utilisé pour remédier à cette situation :

from itertools import cycle
import requêtes

ip pool = [
    'http://user123:pass456@jp1.ipipgo.io:3128',
    'http://user123:pass456@us2.ipipgo.io:3128', ...
    ... Plus d'ip
]

Proxy cycler = cycle(ip pool)

for page in range(1,100) :
    current_proxy = next(proxy cycler)
    try.
        resp = requests.get(f'Lien produit?page={page}',
                          proxies={'http' : current_proxy},
                          timeout=8)
         Analyse des données de prix...
    except Exception as e.
        print(f'Page {page} flop : {str(e)}')

Il est utilisé icipool d'agents récurrentsL'ensemble d'ipipgo est valable pendant 5 minutes par proxy, ce qui convient parfaitement à ce type de scénario dans lequel vous devez changer fréquemment de proxy. Veillez à définir un délai raisonnable, afin d'éviter qu'un agent invalide ne soit bloqué dans l'ensemble du processus.

Un guide pour éviter le piège : le champ de mines de l'utilisation des procurations

Trois erreurs courantes commises par les débutants :

1. les mandataires comme panacée → Travailler avec des stratégies telles que l'AU aléatoire, les intervalles de requête, etc.
2. les agents libres purs et durs → 9 agents publics sur 10 ne travaillent pas, ce qui constitue un retard.
3. ignorer les types de protocole → Le proxy http signale une erreur de protocole lors de l'accès à un site https

Kit de premiers secours QA

Q : Que dois-je faire si le proxy ne fonctionne pas lorsque je l'utilise ?
R : Les forfaits d'ipipgo sont dotés d'une fonction de remplacement automatique des adresses IP ; il suffit de régler la fréquence de remplacement en arrière-plan. Il est recommandé de choisir leur mode intelligent, le système optimisera automatiquement en fonction de l'utilisation.

Q : Comment puis-je vérifier si l'agent est réellement efficace ?
R : Essayez d'utiliser cette interface de détection :

resp = requests.get('http://httpbin.org/ip', proxies=proxies)
print(resp.json()) montre l'IP actuellement utilisée

Q : J'ai rencontré un site web HTTPS qui signale toujours une erreur SSL.
R : 80% est la configuration du proxy n'est pas correcte. L'adresse du proxy https est à https://开头, ne copiez pas directement la configuration du proxy http.

La porte d'entrée pour choisir les services d'une agence

Les agents sur le marché sont très hétérogènes, ce qui vous incite à regarder quelques indicateurs précis :

Mention spéciale pour ipipgo.Routage intelligentLa fonction peut automatiquement faire correspondre le nœud du proxy à l'endroit où se trouve le site web cible. Par exemple, si vous voulez attraper un site web japonais, vous pouvez utiliser l'IP de la salle des serveurs de Tokyo, ce qui réduit la latence et est plus furtif.

Enfin, n'attendez pas que l'IP soit bloquée pour penser à utiliser le proxy, des choses professionnelles aux outils professionnels. Maintenant s'inscrire ipipgo peut obtenir un essai de 3 jours, les nouveaux arrivants et 50% de réduction, cette laine n'est pas saisissant blanc pas saisissant.