Amazon Data Crawling (Python) : Développement d'un agent Amazon Crawler

Pourquoi dois-je être sur un proxy pour faire de l'exploration de données Amazon ?

Le vieux fer a dû rencontrer, avec un script Python juste saisi quelques pages d'Amazon sur le saut de la CAPTCHA, sérieux blocage direct de l'IP. ces jours pour faire le contrôle des données de commerce électronique, qui n'ont pas quelques agents dans les mains de la piscine ? Pour citer un exemple, notre équipe a utilisé l'année dernière l'IP native pour capturer des données sur les prix, les résultats ont été de 3 jours sur la liste noire, puis a changé l'agent résidentiel d'ipipgo qui est aussi stable que le vieux chien.

La meilleure chose à propos des IP proxy est queFaites croire au serveur que vous êtes une personne réelle en train de visiter le site.. Par exemple, si vous utilisez une adresse IP résidentielle dynamique et que vous changez d'adresse à large bande dans une région différente à chaque demande, le système anti-crawl d'Amazon ne sera pas en mesure de déterminer s'il s'agit d'une personne réelle ou d'une machine.

Configuration pratique du proxy crawler

Voici l'exemple complet en Python, utilisant la librairie requests + le proxy ipipgo. Concentrez-vous sur les paramètres d'authentification, beaucoup de gens tombent dans ce piège :

demandes d'importation

 Lien d'extraction de l'API du backend ipipgo
proxy_api = "https://api.ipipgo.com/getproxy?type=dynamic&count=1"

def get_proxy() :
    resp = requests.get(proxy_api)
    return f"{resp.json()['ip']}:{resp.json()['port']}"

headers = {
    User-Agent' : 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36...'
}

proxies = {
    
    'https' : f'socks5://{get_proxy()}'
}

try.
    response = requests.get(
        'https://www.amazon.com/dp/B08J5F3G18',
        proxies=proxies,
        headers=headers,
        timeout=15
    )
    print(response.text[:500]) Imprimez les 500 premiers caractères pour voir l'effet.
except Exception as e.
    print(f "Rollover : {str(e)}")

Rappel des points nids de poule :N'utilisez pas de proxy gratuit ! Nous avons testé plus de deux douzaines de fournisseurs de services sur le marché, et nous avons finalement utilisé la ligne TK d'ipipgo pour résoudre le problème du chargement incomplet de la page du produit américain.

Porte de sélection des agents

Pour vous donner un tableau comparatif, les différents besoins des entreprises correspondent à différents types d'agents :

En particulier.Ligne TKCe dispositif est spécialement optimisé pour les plates-formes de commerce électronique d'outre-mer, et le véritable test pour attraper la vitesse de chargement de l'image d'Amazon est plus de 3 fois plus rapide que les agents ordinaires.

Session d'assurance qualité

Q : Pourquoi suis-je toujours bloqué alors que j'ai mis en place un proxy ?
R : Quatre-vingt-dix pour cent des probabilités sont que le User-Agent n'est pas remplacé de manière aléatoire. Il est recommandé de modifier les empreintes du navigateur toutes les 50 requêtes.

Q : Quel est le volume d'IP nécessaire par jour ?
A : Regardez la fréquence de collecte, généralement 5 requêtes par seconde, si le forfait résidentiel dynamique à choisir 7,67 yuans / Go est suffisant pour l'utiliser !

Q : Que dois-je faire si je rencontre une erreur 403 ?
R : vérifiez immédiatement trois points : 1. si le proxy est en vigueur 2. si l'en-tête de la requête contient des cookies 3. la pureté de l'IP (vérifiez avec les outils de détection d'ipipgo).

Comment choisir un forfait ipipgo

Ils proposent trois niveaux de forfaits :
- Dynamic Standard Edition : convient aux petites équipes qui démarrent, 7,67 $/GB prix du chou
- Dynamic Enterprise Edition : avec la garantie de priorité des demandes, un must pour saisir quelques secondes de données !
- IP résidentielle statique : enregistrement du compte pour maintenir le numéro de ce choix, 35 yuans par IP avec un mois entier !

Enfin dit une opération séditieuse : le client ipipgo chargé sur le serveur cloud, avec selenium pour faire de la collecte distribuée, pro- testé en même temps ouvrir 200 instances de navigateur n'ont pas été bloquées. Les options de configuration spécifiques peuvent trouver leur frère technique dans des scripts prêts à l'emploi, dit de lire cet article peut également envoyer une demi-heure de temps de test.