python dynamic web crawler : Python crawler dynamic IP automatic switching practice

Quand le crawler rencontre une IP dynamique : cette fois-ci, c'est vraiment stable

Récemment, un ami e-commerçant s'est plaint à moi que son crawler était toujours bloqué par l'IP du site cible, et qu'il voulait donc laisser tomber le clavier. En fait, cette chose est exactement comme un gopher - le site a bloqué une IP, nous allons continuer à en faire une nouvelle. Aujourd'hui, mettons la main sur une réunionChanger automatiquement de giletdu crawler, utilisez le service de proxy IP d'ipipgo pour y remédier.

Qu'est-ce qu'une IP dynamique ?

Par exemple, un webmestre qui constate qu'une certaine adresse IP est en train d'aspirer des données comme un fou bloque tout simplement le numéro de la porte. Les IP dynamiques reviennent à donner à l'explorateur un tas d'adresses IP.Des numéros de porte qui se déforment.Les IP résidentielles dynamiques d'ipipgo proviennent d'une véritable large bande domestique et sont plus difficiles à reconnaître que les IP des salles de serveurs.

importation de requêtes
from itertools import cycle

 Pool de proxys à partir de ipipgo
proxies = [
    'http://user:pass@proxy1.ipipgo.com:8000',
    'http://user:pass@proxy2.ipipgo.com:8000', ...
     ... Plus de proxies
]
proxy_pool = cycle(proxies)

def smart_crawler(url) :
    for _ in range(3) : failure retry mechanism
        current_proxy = next(proxy_pool)
        current_proxy = next(proxy_pool) : fail_retry_mechanism
            resp = requests.get(url, proxies={'http' : current_proxy}, timeout=10)
            return resp.text
        except.
            print(f"{current_proxy} Failed to switch to next IP automatically")

Quatre étapes vers le combat réel

Étape 1 : Préparer un stock de munitions
Allez sur le site officiel d'ipipgo et enregistrez-vous, puis trouvez le back-office.Lien d'extraction de l'API. Nous vous recommandons d'opter pour l'offre Dynamic Residential (Standard), avec un prix de 7,67 $/GB pour les projets qui démarrent.

Étape 2 : Obtenir un crawler qui change de visage
Utiliser le mécanisme d'interrogation de Python avec un pool de serveurs mandataires revient à mettre un bouton de changement automatique sur un robot d'exploration. Veillez à mettre en place unintervalle de demandeNe laissez pas le site penser que vous effectuez un raid.

Scène de renversement courante AQ

Q：Pourquoi ai-je été bloqué alors que j'ai utilisé un proxy ?
R : 80 % des IP ne sont pas de bonne qualité. Ne soyez pas bon marché et n'utilisez pas de proxies gratuits. Les IP résidentielles d'ipipgo sont accompagnées de véritables informations sur le transporteur, comme si vous portiez une cape d'invisibilité.

Q : Quel forfait dois-je choisir ?
R : Utilisez l'édition standard dynamique (7,67 $/GB) pour les petits volumes de données, et choisissez l'édition résidentielle statique (35 $/IP) pour ceux qui ont besoin d'une adresse IP stable. Les projets d'entreprise utilisent directement la version dynamique pour entreprise, il existe un canal exclusif.

Pourquoi ipipgo ?

celui-ciLigne TKIl s'agit d'un véritable parfum, spécifiquement optimisé pour certains sites web difficiles. La dernière fois que j'ai aidé un ami à collecter des données sur le commerce électronique transfrontalier, j'ai utilisé leur ligne transfrontalière pour économiser directement la consommation de 30% IP.

Finalement, j'ai dit une leçon en larmes : ne pas écrire une IP proxy morte dans le code ! Une fois, j'ai essayé d'économiser la peine d'écrire une IP fixe directement, le résultat est que l'IP a été bloquée après l'ensemble du script directement frappé. Maintenant j'ai appris ma leçon, à chaque fois que je fais une requête, je récupère le dernier pool d'IP dynamiquement à partir de l'API d'ipipgo, c'est très stable.