Fouille de données sur Facebook : un agent résidentiel contourne les mécanismes anti-fouille de FB

Quand les reptiles se heurtent au mur de laiton de Facebook

Les vieux briscards qui s'adonnent à la collecte de données savent que le système anti-escalade de Facebook est plus solide qu'une porte de sécurité. Les agents ordinaires des salles de serveurs sont comme des intrus dans une salle de banquet en tenue de travail, et ils seront expulsés par les gardes de sécurité en quelques minutes. C'est le moment de partirAgent résidentielCette aubaine, c'est comme laisser les créatures rampantes revêtir les vêtements décontractés de leurs voisins et entrer et sortir par la porte d'entrée.

Secrets furtifs des agents résidentiels

La capacité de l'agent résidentiel d'ipipgo à se cacher du public repose sur trois coups de maître :

 Exemple Python - utilisation du proxy ipipgo
import requêtes

proxy = {
    'http' : 'http://user:pass@gateway.ipipgo.io:9021', 'https' : 'http://user:pass@gateway.ipipgo.io:9021'
    'https' : 'https://user:pass@gateway.ipipgo.io:9021'
}

resp = requests.get('https://www.facebook.com',
                    headers={'User-Agent', 'Mozilla/5.0 (Windows NT 10)', 'https' : '' }
                    headers={'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0)'})

Guide pratique pour éviter la fosse

Il ne suffit pas d'avoir un agent, il faut qu'il y ait une correspondance tactique :

1. Ne soyez pas paresseux pour passer à l'action - Chaque collection de 5 à 10 pages sur l'IP change, n'attendez pas que l'alarme du système retentisse pour agir !
2. Empreintes digitales du navigateur à maquiller - N'oubliez pas de modifier les fonctionnalités de webdriver lorsque vous utilisez selenium.
3. Manipuler des êtres humains rythmés - Défilement aléatoire des pages + intervalles de clics, ne donnez pas l'impression qu'un robot rapporte des chiffres.

Questions fréquemment posées Trousse de premiers secours

Q : Vous avez utilisé un proxy et vous avez quand même été banni ?
R : Vérifiez trois points : ① si l'en-tête de double vérification est défini ② la pureté de l'IP est suffisante ③ l'intervalle de fonctionnement est trop régulier. Il est recommandé d'utiliser le logiciel ipipgo.Maintien dynamique de la sessionFonctionnalité

Q : Que dois-je faire si les données ne sont pas entièrement chargées ?
A : 80% de chargement paresseux, essayez ces deux astuces : ① utilisez un navigateur sans tête pour faire défiler les pages jusqu'en bas ② dans l'en-tête de la requête, ajoutez les marqueurs X-Requested-With.

Choisir la bonne arme pour moins cher

Il y a beaucoup d'agences sur le marché, mais peu d'entre elles sont optimisées pour les plates-formes sociales.Système de routage intelligentIl peut automatiquement faire correspondre les adresses IP résidentielles dans la zone cible, comme si le crawler était équipé d'un système de navigation GPS. Récemment, la société a lancé un nouveaumodèle d'obscurcissement du traficPlus extrême, il est possible de déguiser des demandes de données en trafic vidéo, ce qui permet de réduire efficacement le taux d'interception de la 30%.

La dernière vérité tenace est que les moyens techniques, bien qu'intelligents, ne supportent pas non plus un fonctionnement barbare. Se conformer aux règles de la plateforme pour pouvoir circuler longtemps, après tout, nous ne faisons qu'emprunter des données pour les utiliser, mais pas pour démolir leurs maisons, n'est-ce pas ?