Scraping Twitter : Solution de collecte de données sur les tweets

La bonne posture pour saisir les données de Twitter

Toute personne impliquée dans la collecte de données sait que Twitter est une plateforme particulièrement sensible à l'automatisation. Récemment, un ami qui analyse l'opinion publique s'est plaint que le script qui avait fonctionné pendant deux jours avait été banni de l'IP et qu'il était désormais difficile de se connecter manuellement. En fait, la cause principale de ce problème est le scriptMécanisme de contrôle des risques liés à la propriété intellectuelleAujourd'hui, nous allons spécifiquement expliquer comment utiliser un proxy IP pour casser le jeu.

Guide de sélection des équipements de base

Choisir une IP proxy, c'est comme acheter des chaussures de course, l'ajustement est le plus important. Voici un tableau comparatif pour vous :

La mesure réelle s'est résumée à ceci.IP résidentiel mixte + IP mobileL'effet du plus haut. Comme ipipgo, leur maison dispose d'une fonction de mixage intelligent, qui permet de passer automatiquement d'une chaîne à l'autre, testée pendant trois jours consécutifs de cueillette sans déclencher l'alarme.

Modèles de code du monde réel

Voici un exemple en python, remarquez la partie concernant les paramètres du proxy :

importation de requêtes
from itertools import cycle

 Pool de proxys du backend ipipgo
proxies = [
    "http://user:pass@gateway.ipipgo.com:30001",
    "http://user:pass@gateway.ipipgo.com:30002".
     ... Garder au moins 10
]
proxy_pool = cycle(proxies)

def safe_request(url) : for _ in range(3) : Échec de la tentative.
    for _ in range(3) : échec de la réessai
        current_proxy = next(proxy_pool)
        current_proxy = next(proxy_pool)
            current_proxy = next(proxy_pool) try : resp = requests.get(url,
                proxies={"http" : current_proxy}, timeout=10)
                timeout=10)
            return resp.json()
        except Exception as e.
            print(f "Pompé avec {current_proxy} : {str(e)}")
    return None

Voici le point essentiel.Cycle de différents PI d'exportationNe vous contentez pas d'en prendre un et de le glaner à tour de bras. Il est recommandé de changer d'adresse IP tous les 50 éléments, et l'intervalle ne doit pas être trop régulier.

Conseils anti-blocage

1. camouflage de la circulation: N'oubliez pas d'utiliser les en-têtes normaux de votre navigateur, et non pas l'UA par défaut pour les requêtes !
2. Simulation comportementaleLa méthode de la souris : ajoutez quelques mouvements aléatoires de la souris, ne la rendez pas trop robotique !
3. intervalle de tempsLe mieux est d'avoir un temps d'attente aléatoire qui fluctue entre 0,5 et 3 secondes !
4. Contrôle des exceptions

La désactivation de l'IP actuelle est immédiate si 3 requêtes consécutives ont échoué.