Twitter Web Crawler : les agents résidentiels capturent les tweets

Pourquoi faut-il faire appel à des agents résidentiels pour la collecte de données sur Twitter ?

Do web crawler iron devrait comprendre, directement avec leur propre IP pour glaner des données Twitter, minutes à être bloqué. L'année dernière, j'ai une équipe de projet qui ne croit pas au mal, utiliser la salle IP pour brosser trois jours, les résultats du compte a été effacé sans parler, même avec le réseau de l'entreprise ont été mis sur la liste noire.

C'est à ce moment-là qu'il est temps de déménagerAgent résidentielCet artefact est en place. La meilleure caractéristique de cet agent est queL'adresse IP est exactement la même que celle de l'utilisateur réel.Twitter ne peut même pas dire s'il s'agit d'une personne réelle ou d'une machine. Comme ipipgo, ils font du proxy pool résidentiel dynamique, chaque demande peut automatiquement changer d'IP, le taux de réussite peut être mentionné à plus de 80%.

importation de requêtes
from itertools import cycle

 Configuration du pool de proxy ipipgo
proxy_list = [
    'http://user:pass@gateway.ipipgo.com:8000',
    'http://user:pass@gateway.ipipgo.com:8001', ...
     ... Autres nœuds
]
proxy_pool = cycle(proxy_list)

url = 'https://twitter.com/api/xxx'
for _ in range(5) : failure retry mechanism
    proxy = next(proxy_pool)
    try.
        resp = requests.get(url, proxies={"http" : proxy}, timeout=10)
        if resp.status_code == 200: : If resp.status_code == 200.
            if resp.status_code == 200 : break
    except Exception as e.
        print(f "Request failed with {proxy} : {str(e)}")

Veillez aux trois points suivants lorsque vous choisissez un service d'agence

Il existe de nombreux fournisseurs de services proxy sur le marché, mais l'acquisition de Twitter ne se limite pas à l'achat d'un proxy. Après avoir testé sept ou huit fournisseurs de services, j'ai résumé trois indicateurs principaux :

Une attention particulière doit être accordéePureté IPLes IP proxy de certains petits ateliers ont depuis longtemps été repérées par les grandes plateformes. Avant l'utilisation d'un fournisseur de services inconnu, 6 IP sur 10 déclenchaient le CAPTCHA, ce qui est tout simplement pitoyable. Plus tard, je suis passé au proxy résidentiel exclusif d'ipipgo, et le taux de déclenchement des CAPTCHA a chuté directement en dessous de 3%.

Guide pratique pour éviter la fosse

Il ne suffit pas d'avoir un agent, mais la mauvaise position de fonctionnement fera quand même basculer la voiture. En voici quelques-unesune leçon apprise dans le sang et les larmes: :

1. Ne faites pas de demandes trop régulières.: Ne soyez pas stupide et ne fixez pas d'intervalles fixes, il est préférable d'utiliser des délais aléatoires (0,5 à 3 secondes).

2. User-Agent pour tromper la véritéUA : Ne pas utiliser l'UA par défaut de Python, préparer la rotation de l'UA de 20 navigateurs majeurs.

3. La gestion des exceptions ne doit pas être sous-estiméeLe système d'information de la Commission européenne est le suivant : il s'arrête immédiatement pendant 1 minute en cas de code de statut 429 et passe automatiquement à l'IP en cas de détection de CAPTCHA.

 Exemple de masquage en tant que visite d'un navigateur
headers = {
    User-Agent' : 'Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36', 'Accept-Language' : 'en-US,en;q=0.9',
    
    'Referer' : 'https://twitter.com/'
}

 Contrôle intelligent des délais
import random, time
def smart_delay() :
    base = 0.6 if datetime.now().hour > 2 else 1.2 accélérer le matin
    time.sleep(base random.uniform(0.8, 1.2))

Foire aux questions QA

Q : Pourquoi l'accès est-il toujours restreint même si j'utilise un proxy ?

R : Vérifiez trois choses : 1. si la même IP demande trop souvent 2. si l'en-tête de la demande expose les caractéristiques du crawler 3. si l'IP du proxy est polluée. Il est recommandé d'utiliser la rotation automatique du proxy d'ipipgo, qui forcera le remplacement de chaque IP au maximum 50 fois.

Q : Quels sont les risques juridiques auxquels je dois faire attention lorsque je collecte des données sur les tweets ?

R : Il ne faut jamais explorer des comptes privés ou stocker des informations sensibles sur les utilisateurs. Il est préférable de ne récolter que les tweets publics et de respecter les règles robots.txt de Twitter. ipipgo propose un guide de conformité qui peut être téléchargé par les nouveaux utilisateurs qui s'inscrivent.

Q : Comment puis-je améliorer l'efficacité de la collecte des données ?

R : Architecture distribuée recommandée, ouverture de 10 à 20 instances de crawler, chaque instance disposant d'un canal proxy indépendant. ipipgo prend en charge la concurrence multithread, un seul compte peut ouvrir jusqu'à 50 canaux proxy, le test réel a duré 8 heures pour sélectionner 2 millions de tweets.

Pourquoi recommandez-vous ipipgo ?

Au cours des six derniers mois, nous avons testé plus d'une douzaine de services proxy, et nous avons finalement choisi ipipgo, qui se concentre principalement sur trois points : tout d'abord, les services proxy de l'entreprise, puis les services proxy de l'entreprise.Les ressources IP sont suffisamment sauvagesIls sont connectés aux ressources de l'opérateur local, contrairement à certains fournisseurs de services qui prennent l'IP de la salle des serveurs pour changer une étiquette à vendre.Suffisamment réactifLe service clientèle est technique, la dernière fois que j'ai rencontré un problème de validation de cookie, les ingénieurs m'ont aidé directement à distance pour le débogage.Le prix est excellent.Si vous achetez un forfait d'entreprise, vous pouvez ramener le coût par G de trafic à 0,3 $, ce qui est moins cher que de créer votre propre pool de serveurs mandataires.

Récemment, ils ont eu uneTwitter Wire AgentLe segment IP de la zone résidentielle américaine, l'efficacité de la collecte est supérieure à celle du proxy ordinaire 40%.5G débit pour les nouveaux utilisateurs à enregistrer, assez pour tester le petit projet. Pour la collecte à long terme des frères, il est recommandé d'utiliser directement la version personnalisée de l'agent résidentiel dynamique, qui prend en charge le remplacement en temps réel de l'IP par l'API, ce qui permet d'éviter le contrôle du vent.