News Grabber : Système de suivi des médias en temps réel

Actualités Règle de survie du crawler : trois axes contre l'anti-crawling

Les vieux briscards de la collecte de données savent que le mécanisme anti-escalade du site web est désormais plus strict que la porte de sécurité. La semaine dernière, un ami qui surveille l'opinion publique m'a dit qu'il venait de construire un bon système d'exploration des nouvelles, et qu'après moins de deux jours, il était bloqué par plus de dix IP, ce qui était comme une marmotte, et qu'il venait juste de résoudre le problème du CAPTCHA et de rencontrer la limitation de fréquence, ce qui rendait le cuir chevelu des gens insensibles.

Voici un conseil difficile pour les hommes...Rotation dynamique de l'IP du proxyLe principe est très simple. Le principe est très simple, comme l'opéra du Sichuan qui change de visage, chaque demande consiste à changer de gilet. Avec le proxy résidentiel dynamique d'ipipgo, chaque demande change automatiquement l'IP de sortie, le serveur ne peut pas faire la différence entre une personne réelle ou un robot dans l'opération.

importation de requêtes
from itertools import cycle

proxy_pool = cycle(ipipgo.get_proxy_list()) obtenir le pool d'IP dynamiques de ipipgo

def fetch_news(url) :
    for _ in range(3).
        try.
            proxy = next(proxy_pool)
            response = requests.get(url, proxies={"http" : proxy, "https" : proxy})
                proxies={"http" : proxy, "https" : proxy}, timeout=10)
                timeout=10)
            return response.text
        except Exception as e.
            print(f "Échec avec {proxy}, passez au suivant !")
    return None

Le cloaking d'IP : ne laissez pas les sites web vous reconnaître pour ce que vous êtes réellement

Certains sites web sont si intelligents qu'ils peuvent identifier les robots d'indexation grâce aux empreintes digitales du navigateur. Il ne suffit pas de changer d'adresse IP pour l'instant, vous devez disposer de toute une série de combinaisons de coups de poing. Nous vous recommandons d'utiliser le serviceAgents très anonymesLe système de gestion de l'accès à l'internet a été mis en place par la Commission européenne, en association avec un système de randomisation de l'en-tête de la requête pour que chaque visite ressemble à une région différente d'utilisateurs de l'internet.

Un guide pratique pour éviter le gouffre : ces détails vous tueront

1. Ne pas lésiner sur la qualité de l'agentLes proxys gratuits font souvent des dégâts, soit qu'ils ne peuvent pas se connecter, soit que la vitesse est celle d'un escargot. Le Proxy Entreprise d'ipipgo a un taux de disponibilité mesuré de 97% ou plus, ce qui est particulièrement adapté aux scénarios qui nécessitent une surveillance 7×24 heures.

2. Il y a quelque chose à dire sur le déploiement distribuéLes nœuds d'exploration sont répartis dans différentes régions grâce à l'aide d'ipipgo.Agents de localisation au niveau de la villeLes requêtes semblent provenir de l'ensemble du pays. Par exemple, lorsqu'on suit l'actualité locale, l'accès à partir d'une adresse IP locale a moins de chances de déclencher une manne.

3. Ne soyez pas paresseux dans la gestion des exceptions : arrêtez pendant 10 minutes si vous rencontrez un 403, et coupez automatiquement l'autre IP si vous rencontrez un CAPTCHA. Il est recommandé d'enterrer la capture d'exception dans le code, comme ceci :

def safe_crawler().
    essayer.
         Logique normale du crawl
    except CaptchaException as e.
        ipipgo.ban_current_ip() signale les IP problématiques
        switch_to_backup_node() change de nœud de sauvegarde
    sauf BlockedException : enter_cool_down_mode
        enter_cool_down_mode(600) refroidir 10 minutes