Ensemble de données sur les commentaires des clients d'Amazon : données sur les commentaires de produits

Vous avez des problèmes de données dans le domaine du commerce électronique ? Essayez ce joker

Les commerçants d'Amazon ont-ils été inquiets ces derniers temps : comment exploiter la mine d'or que représentent les commentaires des clients ? Les restrictions de l'interface officielle, sans parler de l'escalade directe, sont faciles à bloquer. L'année dernière, j'ai aidé un ami à optimiser sa boutique et j'ai trouvé un moyen de l'améliorer.méthode locale-Il a utilisé des adresses IP proxy avec des outils d'automatisation et a gelé les plus de 3 000 mauvaises critiques du concurrent.

Collecte de données : trois grands pièges, il y a toujours un piège pour vous

1. Blocage IPAmazon est comme un contrôle de la conduite en état d'ivresse pour les adresses IP fréquemment consultées, ce qui permet d'attraper l'une et de bloquer l'autre.
2. L'enfer du CaptchaCAPTCHA : un pop-up soudain interrompt le processus d'acquisition
3. Mutilation des donnéesLes commentaires ne s'affichent pas en entier dans certaines zones.

 Par exemple, le code commun d'un robot d'exploration
import requêtes
url = "Lien vers un produit Amazon
response = requests.get(url) Vous serez banni dès le lendemain.

Comment choisir une IP proxy pour ne pas payer la taxe IQ ?

Il existe une grande variété de services d'agences sur le marché et il est conseillé de se concentrer sur ces trois points :

Mention spéciale pour ipipgo.Commutation intelligenteCette fonction, qui permet de modifier automatiquement l'en-tête IP+UA, est beaucoup plus facile à utiliser qu'une opération manuelle. La dernière fois que j'ai recueilli des commentaires auprès d'une station allemande, j'ai passé 8 heures en mode automatique sans interruption.

Apprendre à construire un système de collecte à la main

1) Ouvrir un compte ipipgo pour recevoir 500 millions de trafic de test.
2. générer des clés API en arrière-plan
3) Modifier le code du crawler :

demandes d'importation

proxies = {
    'http' : 'http://用户名:密码@gateway.ipipgo.com:端口',
    'https' : 'http://用户名:密码@gateway.ipipgo.com:端口'
}

 N'oubliez pas d'ajouter des délais aléatoires et de simuler le défilement de la souris
response = requests.get(url, proxies=proxies, timeout=10)

Foire aux questions QA

Q : Comment puis-je l'interrompre si l'on me demande sans cesse de vérifier ?
R : deux possibilités : ① réduire la fréquence des collectes ② utiliser la réserve importante d'IP résidentielles d'ipipgo

Q : Que dois-je faire si je suis déconnecté à mi-parcours de l'acquisition ?
A : ajouter un mécanisme de réessai dans le code, le backend d'ipipgo peut être configuré pour changer automatiquement de nœud.

Q : Que se passe-t-il si je dois recueillir des commentaires dans plusieurs pays ?
R : Sélectionnez le nœud global d'ipipgo, n'oubliez pas d'ajouter le paramètre de langue correspondant dans l'en-tête de la requête.

Dites la vérité.

L'IP Proxy n'est pas une panacée, mais c'est la solution la plus fiable à l'heure actuelle. Récemment, j'ai constaté que certains commerçants ont commencé à utiliser desacquisition distribuée10 crawlers + 100 rotations d'IP, avec la gestion du pool de trafic d'ipipgo, la moyenne quotidienne peut sélectionner 50 000 données qui n'ont pas été bloquées. Le coût de ce jeu est un peu élevé, mais il convient aux gros vendeurs qui veulent faire une analyse approfondie.

Enfin, pour rappeler aux novices : n'achetez pas de proxy de pacotille bon marché, j'ai vu quelqu'un avec une bibliothèque d'IP gratuite, le résultat des données collectées en retour sont toutes brouillées. Les fournisseurs de services fiables comme ipipgo, bien que cela coûte un peu d'argent, peuvent faire gagner beaucoup de temps à l'internaute.