Ensemble de données sur les critiques d'Amazon : données sur les critiques de produits

Lorsque les robots d'indexation rencontrent les avis d'Amazon, avez-vous marché dans l'un de ces nids-de-poule ?

Récemment, un ami qui fait du commerce électronique est venu me voir pour se plaindre, disant qu'il voulait analyser les données de ses concurrents, et qu'en conséquence, il venait de crawler 200 avis, et que son IP avait été supprimée par Amazon. Cette situation est trop fréquente, et de nombreux débutants sont plantés sur le mécanisme anti-crawl. Aujourd'hui, nous allons prendre le scénario typique de la collecte de données d'avis sur Amazon et expliquer comment résoudre le problème de manière élégante grâce à l'IP proxy.

Pourquoi votre crawler est-il toujours bloqué ?

Le système anti-crawl d'Amazon est bien plus intelligent qu'on ne le pense. Prenons un cas concret : un utilisateur avec une demande d'IP fixe toutes les 5 secondes, cela semble assez léger, non ? En conséquence, le lendemain, l'accès au compte a été directement restreint. Plus tard, nous avons découvert que le système ne s'intéresse pas seulement à la fréquence des requêtes, mais aussi aux éléments suivantsDétection des pistes d'accès. Par exemple, des visites consécutives à des marchandises similaires et la concentration des opérations au cours de périodes spécifiques peuvent déclencher un contrôle des vents.

Les IP proxy en action

C'est là que nous devons sortir notre sauveur : les IP proxy dynamiques. Un bon pool d'adresses IP doit remplir trois fonctions :multirégionaletCommutation automatique de la fréquenceetSimulation du comportement d'un utilisateur réel. Par exemple, utilisez le proxy résidentiel d'ipipgo et changez l'IP de l'utilisateur final dans une région différente pour chaque demande afin que le système suppose qu'un utilisateur réel est en train de naviguer.

importation de requêtes
from itertools import cycle

proxy_pool = cycle(ipipgo.get_proxy_list()) Obtenir des pools d'IP dynamiques

for page in range(1, 50) : proxy = next(proxy_pool) : proxy = next(ipipgo.get_proxy_list)
    proxy = next(proxy_pool)
    try : response = requests.get(url)
        response = requests.get(url, proxies={"http" : proxy, "https" : proxy})
         Traitement de la logique des données...
    except Exception as e.
        print(f "L'IP {proxy} a échoué, passage automatique au suivant")

Ces indicateurs sont importants dans le choix d'un service d'agence

Études de cas d'utilisateurs réels

Une société de commerce électronique transfrontalière avait besoin de recueillir plus de 100 000 avis pour analyser les sentiments. Elle a d'abord utilisé des proxys gratuits :

1. Déclenche plus de 20 CAPTCHA par jour
2. Taux de répétition des données jusqu'à 35%
3. Cycle d'acquisition supérieur à 2 semaines

Après avoir adopté la solution personnalisée d'ipipgo :

• Configurer des règles de routage intelligentes pour contourner automatiquement les zones à risque
• Ajustement dynamique de la politique de commutation IP en fonction du taux de requête
• La collecte a finalement été achevée en 5 jours, avec des données valides de 98,71 TP3T.

Foire aux questions QA

Q : Combien de PI dois-je préparer pour être suffisant ?
R : En règle générale, il est recommandé de préparer 50 à 80 adresses IP de qualité pour 1 000 demandes. dans le cas des utilisateurs d'ipipgo, leurSystème de répartition intelligentLa quantité requise sera calculée automatiquement.

Q : Que dois-je faire lorsque je rencontre un CAPTCHA ?
R : Il est recommandé de coopérer avec des services de codage automatisés, tout en faisant attention à deux points : 1) une seule adresse IP ne déclenche pas continuellement la vérification 2) la vérification est immédiatement interrompue par le changement d'adresse IP.

Q : Le scraping de données est-il légal ?
A : conformément à l'accord sur les robots et à la réglementation du site web, il est recommandé : 1) de fixer un intervalle raisonnable 2) de ne pas collecter d'informations privées 3) de le faire à des fins d'analyse légitimes.

Guide pour éviter les pièges (focus ici)

Trois dernières suggestions pratiques :

1. N'utilisez jamais l'adresse IP d'un centre de données, Amazon peut identifier les segments des salles de serveurs.
2. Utilisez un User-Agent différent pour chaque demande, mais n'utilisez pas un User-Agent trop froid.
3. mettre en placeTemps d'attente aléatoireLes intervalles de fonctionnement imitent ceux d'une personne réelle.

Si vous ne voulez pas vous occuper vous-même de la maintenance du pool de proxy, utilisez simplement le logiciel ipipgoSolutions de collecte de données AmazonIls ont ciblé les préréglages de paramètres, plus que leur propre conduite pour économiser de l'argent. Récemment, le site officiel a mis à la disposition des nouveaux utilisateurs des activités d'essai gratuites. Il est recommandé d'essayer l'effet lors du premier ramassage de laine.