Proxy Crawler : Système automatisé de collecte de proxy IP

Guide pratique pour créer votre propre pool de proxy IP

Les amis qui s'occupent de crawlers web savent que le plus gros casse-tête est le mécanisme anti-climbing du site cible. Hier, le script pouvait fonctionner normalement, aujourd'hui il est soudainement bloqué. En ce moment, si vous avezChangement dynamique de l'IP du proxyAvec la nouvelle version de Python, les choses s'améliorent considérablement. Aujourd'hui, nous allons vous apprendre à construire un système automatisé de collecte de données proxy en Python, et d'ailleurs, nous avons utilisé le logiciel de notre équipe, leipipgoServices.

Pourquoi dois-je conserver mon propre pool d'agents ?

Le proxy gratuit sur le marché semble tentant, mais en réalité il utilise tous les pièges : lent comme un escargot, temps de survie court, et peut également présenter des risques de sécurité. L'année dernière, j'ai testé 20 plateformes de mandataires gratuits :

Le principal avantage de la création de votre propre pool de mandataires est le suivantcontrôlabilité. Comme nous le faisons dans le cadre du projet de surveillance des prix du commerce électronique, nous collectons chaque jour plus d'une douzaine de données sur les plates-formes, avec l'agent résidentiel dynamique d'ipipgo et le système d'étalonnage auto-construit, le blocage de l'IP réduit la situation de plus de 80%.

Conception du noyau du système d'acquisition automatisé

L'ensemble du système peut être décomposé en trois modules :
1. module de capture - capture des adresses IP de proxy à partir de sources fiables
2) Module d'authentification - Test de disponibilité de l'IP
3. le module de programmation, qui attribue des adresses IP aux robots d'exploration

Voici une version simple du cadre de code (ne le copiez pas rapidement, des conseils d'optimisation suivent) :

import requests
from bs4 import BeautifulSoup

def fetch_proxies(): :
     Ici, nous recommandons d'utiliser l'interface API ipipgo
    url = "https://api.ipipgo.com/proxy/list"
    resp = requests.get(url)
    return parse_proxies(resp.text)

def validate_proxy(ip) :
    try : test_url = "".
        test_url = "http://httpbin.org/ip"
        resp = requests.get(test_url, proxies={"http" : ip}, timeout=10)
        return True if resp.status_code == 200 else False
    return False if resp.status_code == 200 else False
        return False

Éviter les cinq écueils dans lesquels les débutants s'engouffrent souvent

1. Ne vous laissez pas abuser par le nombre élevé d'agents.Le proxy anonyme : Dans certains cas, un proxy anonyme normal serait plus stable.
2. La fréquence de validation doit être raisonnableLes IP de bonne qualité seront épuisés par des sommes de contrôle complètes par minute.
3. Notez le type de protocoleLes sites https doivent utiliser un proxy SSL.
4. Diversification des sources de propriété intellectuelleLes canaux de communication : Il est préférable de mélanger 3 à 5 canaux.
5. Réessai en cas d'échec de l'installationAlgorithme de backoffing exponentiel recommandé

Récemment, pour aider des amis à optimiser le système de crawler de leur entreprise, ils ont découvert que l'API du pool de proxy ipipgo était directement intégrée dans le module de planification, avec un accès aléatoire différé, le taux de réussite de la collecte, qui était de 43%, est passé directement à 91%.

Conseils pour l'entretien des piscines Proxy

Entretenir une piscine d'agence, c'est comme entretenir des poissons, il faut changer l'eau et les nourrir régulièrement. Partagez quelques conseils privés :
- de 2 à 4 heures du matin pour réapprovisionner les nouvelles adresses IP (la qualité du proxy est généralement meilleure à cette heure de la journée)
- Fixer le seuil du nombre d'utilisations de l'IP (il est recommandé qu'une même IP ne soit pas utilisée plus de 50 fois)
- Changement automatique de groupe de proxy en cas de tempête CAPTCHA
- Enregistrer les performances historiques des IP et mettre en place un mécanisme de notation de la réputation.

Voici une stratégie d'attribution de poids que nous utilisons :

classe ProxyManager.
    def __init__(self).
        self.ip_pool = {} format : {ip : {"success":5, "failed":2}}

    def get_best_proxy(self) :
        sorted_ips = sorted(self.ip_pool.items(),
                          key=lambda x : x[1]['success']/(x[1]['failed']+1),
                          reverse=True)
        return sorted_ips[0][0]

QA Time : Déminage des questions les plus fréquemment posées

Q : Que dois-je faire si l'adresse IP de mon proxy est souvent dépassée ?
R : La priorité est donnée à la vérification de la correspondance du protocole. Par exemple, l'accès aux sites https nécessite un proxy qui prend en charge le protocole SSL. Si vous utilisez le service d'ipipgo, son service technique à la clientèle peut vous aider à résoudre le problème.

Q : Comment puis-je empêcher mon prestataire de services d'agent de connaître mon activité réelle ?
A : Élection de soutienauthentification bidirectionnelleLes fournisseurs de services, comme les offres d'entreprise d'ipipgo, proposeront un cryptage de canal séparé afin que même eux ne puissent pas voir exactement ce que l'utilisateur demande.

Q : Que puis-je faire en cas de baisse soudaine de la vitesse d'acquisition ?
R : Vérifiez d'abord le réseau local, puis utilisez cette commande pour tester la latence du proxy :

curl -x http://代理IP:端口 -o /dev/null -s -w '%{time_total}' URL cible

La solution ultime pour gagner du temps

Il est possible de gérer soi-même le pool de serveurs mandataires, mais cela demande beaucoup d'efforts. Pour les applications d'entreprise ou les scénarios qui requièrent une forte concurrence, il est plus facile d'utiliser la fonctionService proxy API pour ipipgoIl sera plus rentable. Leur pool d'adresses IP dynamiques présente les avantages suivants :
- Rotation automatique des adresses IP (commutation par demande/par minute)
- Itinéraire national de plus de 200 villes
- Mécanisme de réessai automatique en cas d'échec
- Assistance technique 7×24 heures

Ils ont récemment mis en place un nouveauFonction de routage intelligentIl est particulièrement intéressant que la ligne optimale puisse être sélectionnée automatiquement en fonction du site web cible. La dernière fois que nous avons recueilli des données sur une plateforme de commerce électronique, la vitesse de réponse était plus de deux fois supérieure à celle du pool de proxy construit par nos soins.

Enfin, nous vous rappelons que la collecte de données doit être conforme à l'accord sur les robots du site web et qu'il ne faut pas attraper un site web par la peau des fesses. Utiliser raisonnablement les outils de proxy IP, afin de permettre à l'entreprise de fonctionner de manière plus stable et plus longtemps.