Les commentaires Instagram : les agents immobiliers obtiennent les données d'IG

C'est ainsi que les anciens conducteurs de données jouent le jeu.

Récemment, plusieurs amis qui font du marketing transfrontalier m'ont contacté pour se plaindre d'avoir essayé d'explorer la section des commentaires d'Instagram à la recherche d'avis d'utilisateurs, pour finalement voir leur compte bloqué à chaque fois. La semaine dernière, un de mes amis qui travaille pour une marque branchée a reçu un e-mail d'avertissement d'IG juste après avoir exploré 200 commentaires. Il existe en fait unpratiques malhonnêtes-Utiliser les agents résidentiels comme couverture pour jouer au "jeu du chat et de la souris" avec la plateforme.

Pourquoi doit-il s'agir d'un agent résidentiel ?

Pour tout vous dire, il existe trois types d'agents sur le marché :

Le système de contrôle des vents d'IG est si intelligent que le segment IP de la salle des serveurs est depuis longtemps inscrit sur une liste noire. Prenons l'exemple de l'agent résidentiel d'ipipgo : derrière chaque IP se cache une véritable maison à large bande ; l'exploration des données est comparable à celle d'un utilisateur ordinaire glissant dans un téléphone portable ; le système ne peut pas dire s'il s'agit d'une personne réelle ou d'une machine.

Il est tout à fait possible de construire un faux système.

Un exemple de Python est donné ici, en notant trois points clés :

Importation de requêtes
from random import randint

 Paramètres du proxy pour ipipgo (focus ici)
proxy = {
    "http" : "http://user:pass@gateway.ipipgo.com:9020",
    "https" : "http://user:pass@gateway.ipipgo.com:9020"
}

headers = {
    "User-Agent" : "Mozilla/5.0 (iPhone ; CPU iPhone OS 15_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148"
}

 Requête aléatoire toutes les 5 à 15 secondes
for comment_id in target_list.
    response = requests.get(
        f "https://www.instagram.com/comments/{comment_id}/",
        proxies=proxy,
        headers=headers
    )
    time.sleep(randint(5,15)) Ce temps d'attente est important !

Remarquez dans le code que l'élémentTemps d'attente aléatoirerépondre en chantantUA mobileLes deux peuvent être parfaitement camouflés avec des proxys résidentiels. Auparavant, un client n'ajoutait pas d'attente aléatoire, les résultats de l'utilisation du proxy comme d'habitude étaient bloqués, c'est le détail qui n'est pas en place.

Un guide pour éviter le gouffre (un résumé des leçons apprises dans le sang et les larmes)

1. Ne jamais faire appel à un agent libre.L'année dernière, une équipe de surveillance des données a utilisé des adresses IP gratuites pour pas cher, et les données qu'elle a remontées étaient 80% de spam.
2. La réserve d'adresses IP doit être suffisamment profondeIl est recommandé de choisir une société comme ipipgo qui offre des services de conseil et d'assistance.Des dizaines de millions de pools d'adresses IPles fournisseurs de services, un maximum de 2 heures par jour pour une seule IP
3. Notez le type de protocoleIG vérifie maintenant strictement le protocole socks5, il est recommandé d'utiliser le protocole HTTP qui est plus stable !

Je suis sûr que vous vous posez la question.

Q : Combien de barres puis-je escalader en une journée sans être bloqué ?
R : Le test réel de la stratégie de rotation d'ipipgo, un seul compte avec 5 000 entrées par jour, est aussi stable qu'un vieux chien. Un client qui surveille l'opinion publique s'appuie sur 20 comptes de sondage et recueille 100 000 données par jour.

Q : Que dois-je faire si je rencontre un CAPTCHA ?
R : Le proxy résidentiel lui-même peut réduire le taux de déclenchement des CAPTCHA. Si vous rencontrez vraiment ce problème, il est recommandé de faire une pause de 30 minutes, de changer l'IP de la ville et de réessayer. L'arrière-plan d'ipipgo peut spécifier l'IP régionale, cette fonction est très utile !

Q : Que se passe-t-il si je ne peux pas saisir toutes les données ?
R : 80% d'entre eux sont limités en vitesse, ajoutez un en-tête de requête à l'adresse"Accept-Language : en-US"Essayez-le. La dernière fois qu'un client a ajouté ce paramètre, l'efficacité de la collecte a été directement doublée !

Soyons réalistes.

L'eau du service proxy est très profonde, certains hommes d'affaires vendent la salle du serveur proxy comme résidentielle. Je vais vous apprendre uneune méthode de vérification de l'authenticitéVérifiez le numéro ASN de l'IP. Les ASN des agents résidentiels sont attribués aux opérateurs de télécommunications, tandis que le numéro du centre de données est affiché dans le cas des agents des salles de serveurs. L'arrière-plan d'ipipgo affiche directement les informations relatives à l'ASN, ce qui est plus fiable.

Enfin, je voudrais vous rappeler que si les procurations résidentielles peuvent réduire le risque, la fréquence de la collecte doit néanmoins être contrôlée. Après tout, IG n'est pas végétarien, il ne faut pas planter ses serveurs. Recommandations conditionnelles pour la collecte distribuée, comptes multiples + combinaison d'IP multirégion, qui est la solution à long terme.