Développement d'un crawler Instagram : piratage des limites de l'API

Capture de données Instagram à l'aide d'adresses IP proxy

Tous ceux qui développent des crawlers savent que les restrictions de l'API d'Instagram peuvent rendre les gens fous. Il suffit de saisir quelques informations utilisateur sur le déclencheur 429 code d'erreur, le compte minutes dans la chambre noire. Ne vous inquiétez pas, aujourd'hui nous allons nag comment utiliser le proxy IP cette arme magique pour briser la situation.

Pourquoi votre crawler est-il toujours bloqué par Instagram ?

Les serveurs d'Instagram ne sont pas en reste et s'appuient sur trois astuces principales pour attraper les robots d'indexation :
Contrôle de la fréquence des requêtes IP(La même demande continue IP tire directement sur le noir),
Empreintes digitales des appareils(paramètres du navigateur, fuseaux horaires, tous ces détails sont exposés),
Analyse du comportement des comptes（突然大量关注/必触发风控）。

Voici un piège à éviter : de nombreuses personnes pensent qu'un changement de compte résoudra le problème.C'est sur l'adresse IP qu'Instagram concentre son attentionLa première chose que j'aimerais faire est d'obtenir la même adresse IP que l'année dernière. L'année dernière, il y a eu un cas test, avec la même IP couper 10 opération de compte, les résultats de tous associés à la bloqué.

La bonne façon d'ouvrir un proxy IP

C'est là que le bât blesse :IP résidentielle dynamique recommandée avec ipipgoIl dispose d'un pool d'IP qui est mis à jour quotidiennement avec plus de 30%, et chaque session change automatiquement l'IP.Le test réel de leurs services, le crawling continu pendant 8 heures sans déclencher aucune limitation.

Conseils de configuration en situation réelle (voir ici)

1) Lors de la configuration de la bibliothèque de requêtes en Python, n'oubliez pas d'inclure l'optiontimeout retry mechanism: :

proxies = {
  'http' : 'http://username:password@gateway.ipipgo.io:8080',
  'https' : 'http://username:password@gateway.ipipgo.io:8080'
}

2. n'attendez pas entre les demandes ! Il est recommandé d'utiliserdélai aléatoire(0,5-3 secondes)+Stratégie de différenciation semaine/week-endLe rythme de l'opération imite celui d'une personne réelle.

3) Dites trois fois ce qui est important :Utilisez toujours un grand nombre de mandataires.! Certains proxys bon marché laissent le champ X-Forwarded-For dans l'en-tête HTTP, et Instagram l'attrape à la volée.

Questions courantes sur le passage à l'euro QA

Q：Que dois-je faire si mon IP proxy ne fonctionne pas lorsque je l'utilise ?
R : Cette situation est due au fait que 80 % des IP ne sont pas de bonne qualité. Passer à ipipgoPaquet de rotation dynamiqueLeur système de détection de survie IP élimine automatiquement les nœuds défaillants toutes les 5 minutes.

Q : Pourquoi êtes-vous toujours bloqué alors que vous avez changé d'adresse IP ?
R : Vérifiez si l'empreinte digitale du navigateur est exposée. Il est recommandé d'utiliser Selenium Wire, qui gère automatiquement les certificats SSL et les fuites WebRTC.

Q : Combien de PI dois-je préparer pour être suffisant ?
R : Pour les projets de taille moyenne, il est recommandé d'utiliser 500 à 1 000 pools d'adresses IP. ipipgo'sPaquet EntrepriseLa facturation horaire est prise en charge, vous pouvez utiliser autant que vous le pouvez sans gaspiller.

Programme de protection ultime

Fournir un plan de configuration lesté :
1. proxy mobile 4G/5G avec ipipgo (imite l'accès par téléphone mobile)
2. changement aléatoire de User-Agent par demande
3. fixer le nombre de demandes d'IP unique à un maximum de 50 par jour
4. augmenter de manière appropriée le volume des demandes entre 3 et 6 heures du matin (c'est le moment de la journée où le contrôle des risques est moins strict).

Enfin, n'achetez pas un pool d'IP partagé pour pas cher. L'année dernière, un frère a acheté un service mensuel à 9,9 euros, mais le résultat a été que le pool d'IP était plein d'IP de spam marquées, et juste après s'y être connecté, il a été blacklisté par Instagram.