Ensemble de données Amazon : données sur les marchandises Amazon

Lorsque les robots d'indexation rencontrent les données des produits Amazon, il se peut que vous passiez à côté de bien plus que de la technologie.

Les amis du commerce électronique doivent comprendre à quel point il est difficile d'obtenir les données d'Amazon sur les produits de base. Le mois dernier, le vieil homme a analysé un concurrent, il a écrit son propre crawler qui a fonctionné pendant trois jours, les résultats du compte avec l'IP ont été occultés, il était tellement en colère qu'il a presque cassé le clavier.

C'est à ce moment-là que l'IP proxy s'avère utile. Cependant, les services de proxy sur le marché sont inégaux, certains prétendent être des IP dynamiques, mais ils sont plus lents qu'un escargot ; certains IP statiques sont stables, le résultat de deux jours pour être identifié par Amazon comme un robot. Il doit s'agir d'Amway sous nos propres produitsipipgoIl a été spécialement optimisé pour les scénarios de saisie de données dans le domaine du commerce électronique et nous verrons plus loin comment l'utiliser.

Pratique : utilisation d'un proxy IP pour récupérer les données et ne pas transmettre le guide de la voiture.

Commençons par un extrait de code Python, qui représente la configuration la plus basique d'un crawler :

importation de requêtes
from itertools import cycle

 Liste des proxies fournis par ipipgo (pool d'IP résidentiel dynamique)
proxy_list = [
    '12.34.56.78:8000',
    '23.45.67.89:8000',
    '34.56.78.90:8000'
]
proxy_pool = cycle(proxy_list)

url = 'https://www.amazon.com/dp/B08J5F3G18'
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64)'}

for _ in range(5) : proxy = next(proxy_pool)
    proxy = next(proxy_pool)
    try : response = requests.get(url)
        response = requests.get(url,
                              proxies={"http" : proxy, "https" : proxy},
                              headers=headers,
                              timeout=10)
        print(f "Les données ont été récupérées avec succès, en utilisant le proxy : {proxy}")
        break
    except.
        print(f "Le proxy {proxy} a échoué, il passe automatiquement au suivant")

Le code semble simple, mais il cache trois nids de poule :

1. manque de pureté de l'IPDe nombreuses adresses IP de proxy ont depuis longtemps été signalées par Amazon, et leur accès déclenche directement une vérification !
2. fréquence de commutation incorrecteles intervalles de chargement des pages sont trop réguliers pour être facilement identifiables
3. l'en-tête de la requête n'est pas camoufléLe changement d'adresse IP sans modification des empreintes du navigateur révélera quand même votre identité.

dépense ou fraisipipgoIl est recommandé d'activer leur fonction de routage intelligent. Cette fonction détecte automatiquement la disponibilité des IP et bascule automatiquement lorsqu'elle rencontre une page de validation, ce qui est beaucoup plus simple que de basculer manuellement.

Quelle solution proxy choisir en fonction des besoins en données

Cas concret : comment une entreprise de commerce électronique a économisé 200 000 dollars grâce à ipipgo

Une entreprise de commerce électronique transfrontalier de Hangzhou utilisait auparavant les services d'un agent étranger, brûlant plus de 30 000 euros par mois, mais subissant également d'anciennes pertes de données. Elle est passée àipipgoaprès le programme personnalisé :

1. interface API propriétaireLes services d'assistance technique : interface directe avec leur système de crawler et gain de temps pour la maintenance de la propriété intellectuelle !
2. fonction d'orientation régionaleAccès précis aux données provenant de différents sites aux États-Unis et en Europe
3) Mécanisme de non-réessai: : Réessai automatique en cas d'échec, taux d'intégrité des données mentionné 98%

Maintenant qu'ils capturent régulièrement plus de 100 000 données de produits par jour, ils sont plus confiants pour s'engager dans des stratégies de tarification.

Cinq questions-réponses incontournables pour éviter les écueils aux jeunes

Q : Pourquoi suis-je toujours bloqué même si j'utilise une adresse IP proxy ?
R : Quatre-vingt-dix pour cent de ces problèmes sont liés à la qualité de l'IP. Il est recommandé de régler la qualité de l'IP dans l'onglet "Qualité de l'IP".ipipgoLa détection de la santé des IP est activée en arrière-plan pour filtrer automatiquement les IP dont la pureté est inférieure à 90%.

Q : Quelle doit être la vitesse de la marche lente ?
R : Ne dépassez pas les vitesses normales de navigation humaine. UtiliseripipgoLa fonction de limitation du débit fixe un délai aléatoire de 3 à 5 secondes/temps.

Q : Que dois-je faire si je rencontre un CAPTCHA ?
R : Ne vous acharnez pas ! Changez immédiatement d'adresse IP.ipipgoVous pouvez vous épargner beaucoup de travail en configurant un changement automatique d'IP lorsque vous rencontrez un CAPTCHA dans le moteur de règles du CAPTCHA.

Q : Dois-je maintenir mon propre pool d'adresses IP ?
R : Pas du tout.ipipgoLe pool d'IP de 15% est automatiquement mis à jour tous les jours, et l'arrière-plan peut également voir les enregistrements d'utilisation de chaque IP.

Q : Qu'en est-il des grandes quantités de données ?
A : ContactipipgoSoutien technique à l'ouverture de canaux de collecte distribués, ils ont réalisé une solution pour une grande usine afin de traiter dix millions de demandes par jour.

Enfin, pour dire la vérité, pour s'engager dans la collecte de données cette chose, les outils représentent 70%, la stratégie représente 30%. Choisir le bon prestataire de services proxy permet vraiment de faire beaucoup moins de détours, après tout, qui n'a pas envie de rester debout toute la nuit pour changer le code, n'est-ce pas ?