Crawling eBay : Collecte de données sur les produits eBay

Pourquoi dois-je utiliser une adresse IP proxy pour accéder à eBay ?

Les personnes engagées dans la collecte de données à l'ancienne savent que le mécanisme anti-escalade d'eBay est plus strict que celui de la mère qui vérifie le poste. Par exemple, si vous utilisez votre propre réseau connecté à la page de la brosse sauvage, moins d'une demi-heure quasi-IP pour vous dans une petite pièce noire. Cette fois, vous devezIP proxyIl s'agit d'un jeu qui consiste à ouvrir un petit numéro, à le sceller et à le remplacer, sans nuire au numéro principal.

Récemment, un frère d'un site de comparaison de prix s'est planté, son équipe a été bloquée pendant trois jours consécutifs sur plus de 20 IP, les données des magasins n'ont pas été mises à l'abri. Plus tard, il a utilisé notreAgent résidentiel pour ipipgoL'adresse IP de l'entreprise est la même que l'adresse IP du site web de l'entreprise, et l'adresse IP du site web de l'entreprise est la même que l'adresse IP du site web de l'entreprise.

Les trois éléments essentiels du choix d'un proxy IP

Il existe des milliers d'agents sur le marché, mais seuls quelques types conviennent à l'escalade sur eBay :

C'est là que le bât blesse.Le programme de rotation intelligente de l'ipipgoLeur pool d'adresses IP d'origine a deux effets néfastes majeurs :
1. la recherche automatique de l'emplacement géographique du site web cible
2. changer automatiquement d'adresse IP si la demande échoue plus de trois fois.
Cela est particulièrement utile pour la collecte de données sur le commerce électronique transfrontalier. Par exemple, si vous souhaitez escalader la station allemande, le système attribue automatiquement l'adresse IP d'exportation de Francfort.

Exemple de code

Voici un modèle de configuration des requêtes Python (n'oubliez pas d'installer le SDK ipipgo) :

import requests
from ipipgo import Rotator

proxy = Rotator(
    api_key="你的ipipgo密钥",
    strategy="country:us"   指定美国出口
)

url = "https://www.ebay.com/itm/123456"
headers = {'User-Agent': 'Mozilla/5.0'} 

for _ in range(100):
    with proxy.get_session() as s:
        resp = s.get(url, headers=headers)
        print(resp.text[:500])   打印前500字符
        time.sleep(random.uniform(1,3))   随机防检测

Regardez ça.随机Particulièrement critique, le backcrawl d'eBay calculera l'écart type de l'intervalle de requête. Il est recommandé de définir une pause irrégulière de 1 à 5 secondes, et non un intervalle de temps fixe.

Cinq éléments de l'anti-blocage

Basé sur trois mois de données de notre équipe de test :

成功率对比：
┌──────────────┬─────────┐
| 防护措施     | 存活率  |
├──────────────┼─────────┤
| 裸奔     | 17%     |
| 普通代理     | 43%     |
| ipipgo方案   | 89%     |
└──────────────┴─────────┘

Pour obtenir un taux de survie élevé, il faut le faire :
1. changer l'agent utilisateur en fonction de la demande
2. porter la chaîne complète des biscuits
3. simuler la piste de clics d'une personne réelle (ne pas accéder directement à l'API)
4. pour le traitement du code de vérification de l'imageMécanisme de reprise après sinistre pour l'ipipgoCommutation automatique de l'IP
5. éviter les heures de pointe de la collecte (de 3 à 6 heures du matin, heure d'Europe centrale, est la meilleure solution)

Kit de premiers secours QA

Q : Que dois-je faire si j'obtiens toujours une erreur 403 ?
R : Vérifiez d'abord si l'en-tête de la requête contient Accept-Encoding, puis confirmez le niveau d'anonymat de l'IP du proxy. En principe, cela ne se produira pas avec les proxys à haut niveau d'anonymat d'ipipgo.

Q : L'acquisition est-elle aussi lente qu'un escargot ?
R : N'utilisez pas de proxy gratuit ! Il est recommandé d'ouvrir le pack concurrentiel d'ipipgo, 50 threads + 500 pools d'IP, une heure peut permettre d'obtenir des dizaines de milliers de détails sur les produits.

Q : Les données manquent toujours de bras et de jambes ?
R : 80% est intercepté par l'anti-crawl, ajouter un jugement de code d'état avant l'analyse xpath :

si resp.status_code == 200 et "ds_div" dans resp.text :
     Analyse normalement
sinon.
    proxy.ban_current_ip() auto-blackout des IP invalides

Dites la vérité.

J'ai vu trop de gens utiliser des proxys gratuits pour pas cher, et en conséquence, leurs IP ont été bloquées, et des comptes sérieux ont été supprimés. Maintenant, les agents fiables ne sont pas chers, commeLe paquet "nouveaux arrivants" de l'ipipgoLes 20 dollars pour 500 adresses IP de qualité, répartis sur quelques centimes par demande, sont beaucoup plus rentables que le blocage et le changement de numéro.

Enfin, n'écrivez pas d'adresse proxy morte dans votre code ! Il est préférable de la configurer avec une variable d'environnement afin de ne pas avoir à modifier le code pour changer de fournisseur d'accès. Par exemple, il est préférable de configurer cette adresse avec une variable d'environnement :

import os
proxy_url = os.getenv('IPIPGO_ENDPOINT','http://gateway.ipipgo.io:8000')

Selon cet ensemble, pour s'assurer que vous escaladez les données eBay avec Dev comme lisse comme de la soie. Les problèmes pratiques peuvent aller sur le site officiel d'ipipgo pour trouver un support technique, leur service client réel 24 heures sur 24 que certaines plates-formes du robot plus fiable.