Exemple d'acquisition de données : modèle de code de crawler Python

Des exercices pratiques vous apprennent à utiliser le proxy IP de Python pour contourner les restrictions de collecte.

Les anciens conducteurs qui pratiquent le crawling comprennent que la protection anti-crawler du site est comme le contrôle d'accès d'une cellule, la même IP entrant et sortant fréquemment du site doit être bloquée. Cette fois, il fautService Proxy IPPour l'utiliser comme "carte d'accès", voici les recommandationsipipgoHome's Dynamic Residential Agent, le taux de réussite mesuré peut atteindre 98%.

demandes d'importation
à partir d'un choix d'importation aléatoire

 Interface API fournie par ipipgo (n'oubliez pas de remplacer votre compte)
API_URL = "https://api.ipipgo.com/getproxy?format=json"

def get_proxies() :
    resp = requests.get(API_URL).json()
    proxies = {
        'http' : f "http://{choix(resp['data'])}",
        'https' : f "http://{choix(resp['data'])}"
    }
    return proxies

 Exemple de collecte des prix des produits Jingdong
url = 'https://item.jd.com/100000000001.html'
try.
    response = requests.get(url, proxies=get_proxies(), timeout=10)
    print(response.text)
except Exception as e.
    print(f "Échec de la collecte. Suggère de vérifier : 1. la marge du paquet proxy 2. le réglage de la fréquence des requêtes")

Trois grands pièges de la sélection IP par procuration

Les services d'agence sur le marché sont profonds, et les nouveaux venus sont enclins à s'engouffrer dans ces nids de poule :

Conseils pratiques de débogage

Partagez quelques méthodes de débogage dont l'efficacité a été testée personnellement :

1. ajouter unSession de vérification IPPour plus d'informations, consultez le site http://icanhazip.com确认IP是否生效 avant chaque demande.

2. ne changez pas d'adresse IP lorsque vous obtenez une erreur 403.requêtes.Session()tenir une conversation

3) Paramètresretard progressifLe temps d'attente est de 0,5 à 3 secondes à différents moments de la journée.

Foire aux questions QA

Q : L'agent libre ne peut-il pas être utilisé ?
R : Un proxy gratuit est comme des toilettes publiques, plus il y a de gens qui les utilisent, plus elles sont sales. L'offre exclusive d'ipipgo est inférieure à 3 yuans par heure, stable et sans souci !

Q : Que dois-je faire si mon agent est lent ?
R : Cocher dans les paramètres de fondmode faible latenceou passer à la ligne BGP nationale d'ipipgo

Q : Que se passe-t-il si je dois collecter des données sur des sites web étrangers ?
R : ajoutez un paramètre country=us dans la requête API (prenez en charge la spécification du code pays), il est recommandé d'utiliser des paramètres de délai d'attente supérieurs à 10 secondes.

Guide de sélection des paquets

Recommandé en fonction de la taille du projet :

• Petits projets (<10 000 pics quotidiens) : paquet expérimental (avec 5 sessions d'assistance technique)
• Projets de taille moyenne : paquet professionnel (prend en charge les appels API simultanés)
• Applications d'entreprise : pools de proxy privés personnalisés (IP exclusive + sortie dédiée)

Finalement, je me suis dit que j'avais une connaissance froide : la bibliothèque IP du proxy ipipgo met à jour toutes les heures le pool IP 15%, alors que trois jours ne changent pas le fournisseur de services IP est beaucoup plus fiable. Les problèmes de collecte rencontrés peuvent être directement adressés à leur frère technique, la vitesse de réponse est plus rapide que celle du service clientèle à emporter (j'ai personnellement mesuré la réponse la plus rapide en 3 minutes).