Collecte de données et analyse du contenu des droits d'auteur par les FAI statiques britanniques et BBC News

Quel est le rapport entre un proxy statique d'un fournisseur d'accès à Internet britannique et la collecte de données par la BBC ?

Les vieux briscards de la collecte de données savent que le site d'information de la BBC est très sensible à la fréquence d'accès. L'année dernière, un ami qui surveille l'opinion publique a utilisé un proxy dynamique ordinaire pour le renforcer, ce qui a eu pour effet de déclencher le CAPTCHA au bout d'une demi-heure. Plus tard, il a changéProxy ISP statique local pour le Royaume-UniLa collecte de l'impôt sur le revenu s'est poursuivie pendant trois jours consécutifs, sans aucun problème.

Il faut dissiper une idée fausse : vous ne pouvez pas trouver une IP britannique au hasard qui fonctionnera. Les vieux médias comme la BBC identifient des segments d'IP de centres de données, et l'accès à ces derniers à partir d'une IP de serveur en nuage est restreint en quelques minutes. C'est là qu'il faut s'appuyer surAgent ISP statique résidentielCes adresses IP sont enregistrées auprès de l'opérateur comme s'il s'agissait d'une connexion à large bande domestique ordinaire, et les artefacts sont transmis directement à l'opérateur.

Trois règles d'or pour le choix d'une IP proxy

Après avoir testé sept ou huit fournisseurs de services sur le marché, nous avons conclu les conseils pour choisir un proxy ISP britannique :

Didacticiel de configuration pratique

Le crawler Python, par exemple, avec le service proxy ipipgo, est en fait extraordinairement simple à configurer :

import requêtes
proxies = {
    'http' : 'http://user:pass@uk-static.ipipgo.com:31000',
    'https' : 'http://user:pass@uk-static.ipipgo.com:31000'
}
resp = requests.get('https://www.bbc.com/news', proxies=proxies, timeout=10)

Soyez attentifs à ces deux détails :Ne fixez pas le délai d'attente à plus de 10 secondes et changez immédiatement de sous-IP lorsque vous rencontrez un CAPTCHA. L'arrière-plan ipipgo peut gérer lui-même 20 canaux simultanés, ce qui est beaucoup plus fiable que l'impasse d'un seul IP.

Que faire des contenus protégés par le droit d'auteur pour les rendre sûrs ?

Il y a des pairs plantés l'année dernière, la collecte de contenu de nouvelles directement défendue commerciale. Nous allons vous apprendre une astuce : utiliser l'IP proxy pour obtenir le contenu public après leConserver 20% d'origine + 80% d'analyse originale lors de la restructuration sémantique. Par exemple, la visualisation sous forme de graphique des données de la BBC sur les épidémies ne constituerait pas une infraction.

L'équipe de juristes d'ipipgo a donné un conseil clair : leur service de proxy est parfaitement légal, mais les utilisateurs doivent veiller à respecter le protocole des robots du site cible. Contrôles recommandés lors de la récoltePas plus de 2 demandes par secondeil est plus sûr d'effectuer les mises à jour incrémentielles tôt le matin.

Foire aux questions QA

Q : Que dois-je faire si j'utilise un proxy pour accéder à BBC slowly ?
R : Vérifiez que vous avez choisi un nœud avec optimisation BGP, les nœuds de la salle de Londres d'ipipgo sont dotés d'une accélération TCP !

Q : Comment puis-je casser le CAPTCHA de Cloudflare lorsque je le rencontre ?
R : Changez immédiatement d'IP + changez UserAgent en deux temps, n'essayez pas encore et encore sur la même IP.

Q : Que se passe-t-il si j'ai besoin de capturer des ressources vidéo ?
R : vous devez utiliser un forfait avec protection de la bande passante, les agents ordinaires ne peuvent pas acheminer le trafic vidéo, nous vous recommandons le forfait Entreprise d'ipipgo !

Enfin, une grande vérité : ne croyez pas ces 9,9 services proxy mensuels, nous en avons testé huit sur dix avec les segments IP d'Amazon AWS, la BBC a longtemps occulté ces segments IP. Si vous voulez vous engager dans une collecte de données stable, vous devez encoreLes prestataires de services comme ipipgo qui font de l'optimisation pratiqueCes personnes ont suivi une formation à la confrontation anti-escalade spécialement destinée aux sites Internet des médias britanniques, et ceux qui les ont utilisées disent qu'elles sentent vraiment bon.