Patreon Data Crawl : Solution de capture de contenu payant pour les créateurs

Si vous envisagez d'utiliser le contenu payant de Patreon, vérifiez d'abord les pièges suivants

Quiconque s'est déjà livré à l'exploration de données sait que Patreon est une plateforme particulièrement raffinée. Une fois que les créateurs ont rendu le contenu visible moyennant paiement, les robots d'indexation ordinaires ne peuvent tout simplement pas toucher le bord. Voici une connaissance froide :Ils disposent d'un compteur de trafic caché, une seule adresse IP visitée plus de 20 fois par heure est directement inscrite sur la liste noire.. L'année dernière, un ami, auteur de bandes dessinées, a rampé pendant trois jours d'affilée sur son réseau à large bande domestique, ce qui a eu pour conséquence de bloquer l'ensemble de son numéro ASN.

Les pools d'adresses IP dynamiques sont les vrais papas

Ne croyez pas ceux qui disent que vous pouvez utiliser un agent libre pour obtenir le tutoriel, le vrai test 10 agents libres 9 et demi sont inutiles. Pour être fiable, ou doit trouver des prestataires de services professionnels, tels queProxy résidentiel dynamique pour ipipgoLeur pool d'adresses IP est automatiquement actualisé toutes les heures, plus souvent qu'un rabais sur les œufs au supermarché. Voici un tableau comparatif pour rendre les choses plus intuitives :

Configuration pratique des chenilles

N'attendez pas d'écrire le code, trouvez-le d'abord !Demande d'intervalles à randomiser. En outre, lorsque vous utilisez la bibliothèque de requêtes de Python, n'oubliez pas d'ajouter "Referer" et "X-Requested-With" aux en-têtes afin de dissimuler le comportement du navigateur. Voici un modèle de configuration :

proxies = {
  'http' : 'http://user:pass@gateway.ipipgo.net:9020',
  'https' : 'https://user:pass@gateway.ipipgo.net:9020'
}

headers = {
  
  
  'Referer' : 'https://www.patreon.com/explore'
}

Veillez à allumermécanisme de réessai automatiqueIl est recommandé d'utiliser la bibliothèque Tenacity pour mettre en place une répétition exponentielle de 3 fois. En cas d'erreur 403, il faut immédiatement basculer le nœud de secours ipipgo, l'API prend en charge le second basculement.

Scène de renversement fréquente chez les conducteurs âgés

Il est temps de passer à l'assurance qualité et de donner quelques exemples concrets :

Q : Pourquoi ne puis-je pas voir les contenus payants même après m'être connecté ?
R : Dans 80% des cas, le cookie n'est pas le bon, n'oubliez pas de conserver l'état de la session dans le crawler. Utilisez la fonctionagent détenteur de sessionla même IP maintient une session de 30 minutes sans sauter.

Q : Que dois-je faire si je ne parviens pas à charger toutes les ressources d'images ?
R : Le CDN d'images de Patreon vérifiera la source, n'oubliez pas d'inclure dans l'en-tête de la requête le texte complet de l'image.Originedéguisé en saut de la page d'accueil du créateur.

Q : Tous les agents sont soudainement désactivés ?
R : La vérification humaine peut avoir été déclenchée. Il est recommandé d'intégrer dans le crawlerModule de contournement de l'authentification secondaireou de changer d'ipipgoPaquet d'agents High StashLeurs nœuds d'entreprise sont dotés de fissures d'authentification.

Choisir le bon outil, c'est s'épargner trois ans de travail.

J'ai utilisé sept ou huit fournisseurs de services proxy, et j'ai finalement utilisé ipipgo pendant longtemps pour trois raisons :

1. Pool IPMise à jour des cartes en temps réelLe FAI peut spécifier précisément la région du créateur.
2. offrirPanneau de contrôle du taux de réussite des demandesJe peux voir quel itinéraire est le plus rapide.
3. Le support technique répond plus vite qu'un livreur, la dernière fois à trois heures au milieu de la nuit pour mentionner le bon de travail, en fait des secondes de retour !

Un dernier rappel : le crawler doit être paramétréVitesse d'acquisition raisonnableLes serveurs ne doivent pas être détruits. Utilisez ipipgo.Fonction intelligente de limitation de vitesseLa fréquence des demandes est automatiquement ajustée, ce qui est sûr et ne gaspille pas les ressources. N'oubliez pas que l'eau fine ne peut couler que pendant un long moment, la collecte de données est une guerre de longue haleine, choisissez le bon équipement pour en gagner la moitié.