Le guide complet de l'exploration du Web en Python : des bases au monde réel

Quelle est l'utilité d'une IP proxy ? Prenons un exemple concret

Le mécanisme anti-escalade du site est comparable au système de sécurité du métro : si le même visage se présente trop souvent à l'entrée, des gardes de sécurité sont immédiatement envoyés sur place. À l'heure actuelle, l'IP proxy est votre "gilet", chaque visite pour changer l'identité du serveur ne vous reconnaîtra pas comme la même personne.

Par exemple, si vous souhaitez connaître le prix d'une plateforme de commerce électronique, l'IP locale sera bloquée pour 20 requêtes consécutives. Avec le pool de proxy dynamiques d'ipipgo, chaque demande bascule automatiquement vers une IP d'une autre région, le taux de réussite est directement doublé. Les données de test sont disponibles ici :

Pratique de Python + Proxy IP

Installez d'abord les deux bibliothèques et frappez en ligne de commande :

pip install requests
pip install fake_useragent

Voici ce qu'il faut faire ! Utilisez l'API d'ipipgo pour obtenir le proxy, le code est le suivant :

demandes d'importation

def get_ipipgo_proxy() : api_url =
    api_url = "https://api.ipipgo.com/getproxy?format=json"
    resp = requests.get(api_url).json()
    return f "http://{resp['ip']}:{resp['port']}"

 Exemple d'utilisation dans le monde réel
proxies = {
    'http' : get_ipipgo_proxy(),
    'https' : get_ipipgo_proxy()
}

response = requests.get('destination URL', proxies=proxies, timeout=10)
print(response.text)

Attention à deux nids-de-poule :
1. le format du proxy doit être http://IP:端口, ne pas oublier l'en-tête du protocole
2) Il est recommandé de fixer le délai d'attente à 10 secondes afin d'éviter les attentes interminables.

Kit de 4 pièces pour la stratégie anti-crawl

Il ne suffit pas d'utiliser les agents seuls, vous devez travailler avec ces astuces :

from fake_useragent import UserAgent

headers = {
    User-Agent' : UserAgent().random, random UA
    'Accept-Language' : 'zh-CN,zh;q=0.9' environnement chinois
}

 Randomiser 3 à 8 secondes entre chaque requête
time.sleep(random.uniform(3,8))

Le pool d'adresses IP d'ipipgo est livré avecAgent résidentielrépondre en chantantAgents de centre de donnéesDeux types, pour gérer différents sites web de manière flexible. Par exemple, le site web officiel de l'entreprise utilise principalement l'IP résidentielle, tandis que les médias sociaux utilisent l'IP de la salle des serveurs, ce qui est plus rentable.

En pratique : explorer le cas d'un site d'information

Le site web cible modifie sa stratégie anti-crawl toutes les 30 minutes, notre plan de réponse :

1. Interrogation de 5 nœuds IP ipipgo par balayage
2. Réessayer automatiquement 3 fois en cas d'erreur 403
3. Réduction de la fréquence des crapahutages de 2 à 5 heures du matin

Extrait de code de base :

retry_count = 0
while retry_count < 3: : retry_count = 0
    try : resp = requests.get(url)
        resp = requests.get(url, proxies=proxies, headers=headers)
        if resp.status_code == 200 : if resp.status_code == 200 : if resp.status_code == 200
            if resp.status_code == 200 : break
    except Exception as e : proxies = get_ipip
        proxies = get_ipipgo_proxy() remplacer par les nouvelles IPs
        retry_count +=1

Foire aux questions QA

Q : Que dois-je faire si l'IP de mon proxy est lente ?
A : Choisir celui d'ipipgoAccès exclusif à haut débit，实测<200ms。别用免费代理，那速度跟自行车追高铁似的

Q : Comment puis-je vérifier si l'agent est valide ?
R : Testez d'abord avec un petit script :

test_url = 'http://httpbin.org/ip'
resp = requests.get(test_url, proxies=proxies)
print("Current proxy IP :", resp.json()['origin'])

Q : Que dois-je faire si un site web me demande de me connecter ?
R : En liaison avec l'initiative de l'ipipgomaintien de la sessionFonction, la même IP pour maintenir la validité du cookie, besoin de contacter le service clientèle pour ouvrir le cookie.

Pourquoi ipipgo ?

Il a levé lui-même plus de 3 millions d'adresses IP résidentielles réelles, couvrant 200 villes à travers le pays. Par exemple, lorsque vous avez besoin de données météorologiques pour un endroit donné, vous pouvez directement spécifier l'adresse IP de sortie de cette ville, et l'acquisition des données est plus précise. La durée de survie des IP est intelligemment régulée, contrairement à certaines plateformes où les IP expirent après quelques minutes d'utilisation.

Récemment publiéRoutage intelligent功能更牛，自动识别目标网站服务器位置，优先分配同区域的代理节点。比如抓取广东地区的网站，系统自动分配深圳、广州的出口IP，降低60%以上。

Enfin, j'ai raconté une histoire vraie : un client du système do price, avant l'utilisation d'un proxy ordinaire scellé 300 + fois par jour, a changé pour ip ipgo après une semaine n'a rencontré qu'une seule interdiction, l'écart est visible à l'œil nu. S'engager dans la capture de données amis, proxy IP cette pièce ne peut vraiment pas économiser de l'argent, choisir le bon fournisseur de services pour doubler l'efficacité n'est pas dupe.