Facebook Mall Collector : Solution de capture de données de produits

Il s'agit peut-être de l'aide-mémoire le plus réaliste que vous ayez jamais vu sur la récolte de Facebook !

Le crawl des données du centre commercial de Facebook sait que le plus grand casse-tête n'est pas d'écrire le code, mais de faire vivre le compte pendant trois jours. Ceux qui vous apprennent à utiliser une bibliothèque de requêtes pour crawler des données dans des tutoriels, neuf sur dix ne vous ont pas dit les points clés :L'adresse IP est plus importante que le mot de passe du compte. Aujourd'hui, nous allons revenir sur des vérités que personne n'ose dire, notamment sur la façon de conserver son compte de capture avec le service proxy d'ipipgo.

Pourquoi votre collecteur est-il toujours bloqué ?

Imaginez que vous vous trouviez dans un centre commercial et que vous preniez des photos des gens tels que vous les voyez, qui le garde de sécurité va-t-il regarder si ce n'est pas vous ? Trois éléments principaux sont pris en compte :

1. la même fréquence d'accès à l'IP (plus de 50 fois/heure seront bloquées)
2. l'IP appartient à des anomalies (les États-Unis le matin et le Brésil l'après-midi)
3. les caractéristiques des requêtes sont les mêmes (toutes les requêtes proviennent de la même salle de serveurs)

Le mois dernier, un client du secteur de la vente en gros de vêtements utilisait son propre serveur pour capturer des données ; le lendemain, même le compte principal était bloqué. Plus tard, il a changé pour le pool d'adresses IP résidentielles dynamiques d'ipipgo, qui a fonctionné sans interruption pendant un demi-mois.

Choisir une IP proxy, c'est comme choisir des chaussures de course

Comparaison des types d'agents les plus courants sur le marché (se concentrer sur la troisième colonne) :

Axé sur les IP résidentielles dynamiques, ce produit d'ipipgo présente une caractéristique remarquable :Changement automatique de ville sur demande. Par exemple, si vous choisissez la région des États-Unis, la première requête sera l'IP de Los Angeles, et la seconde celle de Chicago, ce qui simule parfaitement le comportement réel de l'utilisateur.

Configuration pratique du collecteur

Dans le cas de Python, par exemple, il y a trois endroits à modifier dans la configuration de la clé :

demandes d'importation

 Obtenir l'adresse du proxy à partir d'ipipgo (n'oubliez pas de la remplacer par votre propre API)
proxy = "http://用户名:密码@gateway.ipipgo.com:端口"

 Concentrez-vous sur la définition du paramètre timeout
response = requests.get(
    'https://www.facebook.com/marketplace',
    proxies={'http' : proxy, 'https' : proxy},
    timeout=(3, 7) 3 secondes pour se connecter, 7 secondes pour lire
)

 Le sommeil aléatoire imite les opérations manuelles
import random
time.sleep(random.uniform(1.2, 4.5))

Attention ! Lorsque le site se charge lentement, les paramètres de temporisation par défaut entraînent des anomalies de connexion TCP, qui révèlent directement les caractéristiques du proxy.

Cinq détails de l'anti-blocage

1. N'utilisez pas le pilote Chrome.Selenium est facile à détecter, passez à Requests + en-tête de requête aléatoire.
2. Contrôler la vitesse du clicle temps d'affichage des pages est soumis à des fluctuations aléatoires de 0,5 à 3 secondes
3. Échelonner les heures d'activitéLes utilisateurs américains ne s'affolent pas à 3 heures du matin.
4. Simulation de la piste de la sourisPyMouse : Utilisez PyMouse pour effectuer des mouvements aléatoires, ne cliquez pas en ligne droite !
5. Nettoyage régulier du cache: Particulièrement les données de suivi dans LocalStorage

Foire aux questions QA

Q : Pourquoi le site est-il toujours bloqué après l'utilisation d'un proxy ?
R : Vérifiez la taille du pool d'IP, il est recommandé de faire tourner plus de 500+ IP dynamiques. La version business d'ipipgo prend en charge la commutation automatique de 1500 villes !

Q : Que se passe-t-il si les données collectées sont incomplètes ?
R : Il est probable que cela déclenche la limite de charge, ajoutez "sec-fetch-site : same-origin" dans l'en-tête de la requête pour essayer.

Q : Dois-je travailler avec le navigateur d'empreintes digitales ?
R : Les besoins opérationnels à long terme, la collecte à court terme avec un User-Agent aléatoire sont suffisants. ipipgo fournit un service d'obscurcissement des empreintes digitales des appareils.

Dites la vérité.

J'ai vu trop de gens dépenser beaucoup d'argent pour acheter un logiciel d'acquisition, les résultats dans le lien IP à tomber. La semaine dernière, il y avait un client, a dû utiliser un proxy gratuit, les résultats du compte tous disparus. En fait, les choses professionnelles aux outils professionnels, ipipgoIP dynamique + mécanisme de rappel automatiqueC'est un excellent moyen d'économiser plus d'argent que si vous vous en débarrassiez vous-même. Les nouveaux utilisateurs bénéficient d'une période d'essai de trois jours, suffisante pour mesurer l'effet.