Instagram Comment Grabber : API de capture des médias sociaux

Premièrement, pourquoi vos commentaires Instagram sont-ils toujours indéchiffrables ?

Le vieux fer à repasser engagé dans la collecte de données a dû rencontrer cette situation : évidemment écrit un script de crawler en Python, au début il peut attraper quelques centaines de commentaires, après une demi-heure sur la pointe du"Demande restreinteEn effet, Instagram est particulièrement sensible aux caractéristiques des machines à haute fréquence d'accès. En effet, Instagram est particulièrement sensible aux caractéristiques des machines à haute fréquence d'accès, tout comme le gardien de la communauté pour se souvenir du numéro de plaque d'immatriculation, a constaté un blocage direct anormal de l'IP.

Récemment, un ami qui s'occupe de l'analyse de Netflix s'est plaint à moi que son équipe avait bloqué plus de 20 adresses IP à la suite. Il a ensuite essayé d'ajouter un délai aléatoire dans le code et a constaté que l'efficacité de la collecte était ridiculement faible - seulement 50 données ont été capturées en 1 heure, ce qui n'est pas suffisant ?

Deuxièmement, comment utiliser l'IP proxy comme "cape" ?

En d'autres termes, l'IP proxy est comme une cape dynamique pour le crawler. Nous avons utilisé le service de proxy résidentiel d'ipipgo pour tester, la même machine pour basculer entre différentes demandes d'IP, le taux de réussite peut monter en flèche de 15% à 92%. opération spécifique :

Importation de requêtes
from itertools import cycle

proxy_list = [
    
    'http://user:pass@gateway.ipipgo.io:8002'.
     Ajoutez d'autres nœuds de proxy ipipgo ici
]
proxy_pool = cycle(proxy_list)

def get_comments(post_id).
    proxy = next(proxy_pool)
    try.
        response = requests.get(
            f'https://www.instagram.com/p/{post_id}/comments/',
            proxies={"http" : proxy, "https" : proxy},
            timeout=10
        )
        return response.json()
    except Exception as e.
        print(f "Request failed with {proxy} : {str(e)}")

Veillez à mettreuser:passPassez à vos propres informations d'authentification générées dans l'arrière-plan d'ipipgo. Il est recommandé de changer automatiquement d'adresse IP chaque fois que vous recevez 10 à 15 commentaires, afin de ne pas déclencher facilement le contrôle du vent, mais aussi de garantir la vitesse de collecte.

Troisièmement, les trois principaux guides pour éviter les pièges du choix d'un mandataire IP

Les fournisseurs de services proxy sur le marché sont très hétérogènes. Sur la base de notre expérience de test de plus de 30 services, nous avons résumé ce tableau comparatif :

C'est là que le bât blesse.Type de dispositif réelCe paramètre. Instagram détecte le numéro ASN (équivalent à un ID de réseau) de l'appareil demandeur. les ASN des IP de la salle des serveurs sont publics. il faut une IP domestique à large bande avec ipipgo pour se faire passer pour un utilisateur réel.

IV. techniques d'acquisition pratiques (avec manuel d'élimination des erreurs)

Beaucoup de détails que les tutoriels ne vous diront pas :

1) N'oubliez pas de vider la mémoire cache des cookies de votre navigateur après chaque changement d'adresse IP.
2) N'utilisez pas de User-Agent fixe, préparez plus de 20 rotations d'UA mobiles.
3. il est recommandé de choisir l'heure d'activité du compte cible (par exemple, de 20 h à 23 h).
4. ne pas se battre lorsqu'on rencontre le CAPTCHA, faire une pause de 15 minutes et changer d'adresse IP.

Voici un cas concret : une agence MCN a utilisé notre méthode avec l'IP résidentielle dynamique d'ipipgo pour collecter avec succès 1,8 million de données de commentaires en une seule journée, et le taux de survie de l'IP est resté supérieur à 87%.

V. Foire aux questions AQ

Q : Pourquoi ne puis-je pas récupérer les données même si j'utilise un proxy ?
R : Vérifiez trois choses : ① si le proxy est configuré avec l'authentification de l'utilisateur ② si le message cible a des permissions de confidentialité définies ③ si l'en-tête de la demande contient les paramètres X-IG nécessaires.

Q : Comment puis-je augmenter la vitesse de collecte ?
R : Il est recommandé d'utiliser la requête asynchrone + le mode multithread, mais il faut veiller à ce que le nombre de threads ne dépasse pas 1/3 du nombre total d'IP du proxy. Par exemple, s'il y a 30 IP, il est plus sûr d'ouvrir 10 threads.

Q : Que dois-je faire si mon IP proxy tombe soudainement en panne ?
R : Contactez immédiatement le service d'assistance technique d'ipipgo, qui propose un service spécial - le remplacement des IP anormales en arrière-plan, qui ajoutera automatiquement de nouvelles IP à votre pool de serveurs mandataires.

Enfin dit un froid savoir : Instagram commentaire interface en fait il y a deux versions, l'ancienne version de l'api/v1/easy à bloquer, il est recommandé d'aller à la nouvelle version de l'interface graphql, les paramètres spécifiques peuvent être réglés pour chercher le service client technique d'ipipgo à l'échantillon de code, leurs services techniques est d'acheter un agent d'envoyer gratuitement.