Shopee Platform Crawl : moteur de recherche de données sur le commerce électronique en Asie du Sud-Est

Pourquoi est-on toujours traité comme un robot lorsqu'on écume les données sur Shopee ?

Récemment, des confrères qui travaillent sur le marché de l'Asie du Sud-Est se sont plaints que lorsqu'ils utilisent des robots d'indexation pour recueillir des informations sur les produits Shopee, ils ne peuvent pas bouger.CAPTCHA pop-upOu directement bloqué IP. Il y a un vieux fer pire, juste exécuter deux jours de scripts soudainement fermé, vérifier les journaux a trouvé que le taux de réussite de la demande a chuté à 30% moins de. C'est en fait avec vous dans les étals du marché de nuit toujours être le directeur de la ville regardé à une raison - le mécanisme anti-climbing de la plate-forme se sentent que votre opération est trop régulière.

Prenons un cas concret : une entreprise de commerce électronique transfrontalier basée à Shenzhen souhaite surveiller les prix des pièces détachées de téléphones portables sur le site indonésien. Elle utilise son propre réseau de bureau pour capturer 5 000 pages de produits chaque jour à intervalles réguliers. En conséquence, à partir du troisième jour, non seulement les données n'ont pas été saisies, mais l'accès normal à l'arrière-plan de la boutique a été affecté. Il s'agit d'un cas typique deCaractéristiques d'exposition des adresses IPla plate-forme a occulté l'ensemble du segment IP.

Comment les adresses IP par procuration sont-elles devenues une bouée de sauvetage ?

C'est le moment d'offrir cette aubaine qu'est l'IP proxy. Il s'agit simplement d'un moyen de donner à votre crawlerChangez sans cesse d'armure.La plateforme pensera que chaque demande est effectuée par un utilisateur différent. Cependant, il existe une grande variété de services proxy sur le marché, et le choix du mauvais type de service peut toujours entraîner un retournement de situation.

Comme le pool IP résidentiel d'Asie du Sud-Est d'ipipgo, le test réel sur le site de Shopee Malaysia, le taux de réussite des demandes pendant 7 jours consécutifs peut être maintenu à plus de 92%. Ils ont unMécanisme de préchauffage IPIl est intéressant de noter que la nouvelle adresse IP simule d'abord le comportement de navigation normal de l'utilisateur, puis commence à explorer au bout d'une demi-heure, ce qui permet de tromper de nombreux systèmes anti-escalade.

Apprendre à faire correspondre le proxy crawler à la main

Voici un marronnier de la bibliothèque de requêtes de Python (notez que le délai d'attente est un peu plus long, le réseau d'Asie du Sud-Est est parfois saccadé) :

importation de requêtes
from itertools import cycle

proxy_pool = cycle([
    
    'http://user:pass@gateway.ipipgo.com:8001'.
     Il est recommandé d'avoir plus de 10 entrées
])

url = 'https://shopee.co.id/api/v4/item/get'
headers = {'User-Agent' : 'Mozilla/5.0 (Android 10 ; Mobile)'}

for _ in range(100) : proxy = next(proxy_pool)
    proxy = next(proxy_pool)
    try : resp = requests.get(url)
        resp = requests.get(url, proxies={"http" : proxy}, headers=headers, timeout=15)
         N'oubliez pas d'ajouter un délai d'attente aléatoire, de 0,5 à 3 secondes, c'est plus sûr.
    except.
         Jeter automatiquement les proxies défaillants dans le pool de refroidissement
        ipipgo.report_failure(proxy) 

Concentrez-vous sur trois endroits où il est facile de poser la tête :

1. Empreinte digitale de l'appareil dans l'en-tête de la demandeN'utilisez pas l'UA Python par défaut, prenez un vrai modèle de téléphone et remplissez-le !
2. Ne soyez pas trop diligent dans le changement d'IP, au moins 5 à 10 demandes pour une IP.
3. Ne vous opposez pas au captcha, réessayez avec une IP différente (par exemple, passez de Jakarta à Surabaya).

Pourquoi les conducteurs âgés recommandent-ils ipipgo ?

Dans un premier temps, notre équipe a testé 7 fournisseurs de services proxy, et a finalement choisi ipipgo principalement pour ces trois raisons :

• Leur famille possède sa propre salle de serveurs aux Philippines.Le temps de latence en Asie du Sud-Est peut être réduit à moins de 150 ms
• Prise en charge des segments IP personnalisés par numéro ASN, ce qui est utile lorsque vous devez récupérer les données d'un vendeur spécifique.
• J'ai été surpris de recevoir une deuxième réponse du service clientèle à 3 heures du matin, le support technique est vraiment à la hauteur !

En particulier sur le marché thaïlandais, il a été constaté que le nœud d'ipipgo à Bangkok était en mesure de contourner le système d'alerte de Shopee.stratégie de restriction du débit de la zoneLa première fois que je l'ai vu, j'ai pu obtenir les données relatives à la catégorie des mères et des bébés. Il fut un temps où les agents ordinaires ne pouvaient obtenir que des informations de base sur la catégorie des mères et des bébés, mais après avoir découpé leur pool d'adresses IP en or, même les stocks promotionnels cachés ont été éliminés.

Le temps de l'assurance qualité : les pièges que vous avez pu rencontrer

Q : Dois-je toujours limiter le débit avec une IP proxy ?
R : il faut le faire ! Même si l'IP est plus élevé, la fréquence des demandes est trop importante pour déclencher le contrôle du vent. Il est recommandé de se référer à cette formule :Concurrence = nombre total de PI ÷ 2

Q : Cela vaut-il la peine que l'IP résidentielle soit trois fois plus chère que l'IP des centres de données ?
R : Cela dépend du scénario de l'entreprise. S'il s'agit de surveiller les appels téléphoniques non sollicités ou de suivre les prix, il est recommandé de mélanger les deux. Pour la saisie d'informations ordinaires sur les produits de base, il est possible d'utiliser l'IP du centre de données avec une bonne stratégie de rotation.

Q : Que dois-je faire si je rencontre une protection Cloudflare ?
R : C'est le moment de s'inscrire sur le site d'ipipgo.Real Life Certified IPLeur solution consisterait à procéder d'abord à une vérification humaine, puis à conserver l'état de la session en vue d'une exploration continue.

Enfin, je rappelle à tous les frères que la saisie des données doit être effectuée avec précautionDéveloppement durableJe ne sais pas. Ne plantez pas les serveurs des autres pour essayer d'être rapide, et alors personne ne pourra jouer. Utilisez raisonnablement l'IP proxy, contrôlez bien l'intervalle entre les requêtes, afin d'obtenir une mine d'or de données à long terme.