Etsy Crawler : Récupérer automatiquement les données des produits Etsy

Découvrez pourquoi votre IP est toujours bloquée.

Récemment, beaucoup d'amis du commerce électronique transfrontalier se sont plaints à moi, en disant que l'utilisation de scripts pour grimper les données de marchandises Etsy est comme rebondir dans un champ de mines, ne pas bouger pour déclencher l'interdiction. En fait, cette chose ne blâme pas vraiment la plateforme impitoyable, pensez-y, si quelqu'un avec un haut-parleur devant votre boutique 24 heures en criant les prix, vous pouvez le supporter ?

C'est là que le bât blesse :Le mécanisme anti-crawl d'Etsy cible spécifiquement les adresses IP à haute fréquence pour faire avancer les choses.Vous obtiendrez une erreur 403 en moins d'une demi-heure. En supposant que vous soyez bombardé par l'IP de votre propre serveur, vous êtes assuré d'obtenir une erreur 403 en moins d'une demi-heure. Pire encore, une fois l'IP signalée, le compte peut être restreint.

Choisir un proxy IP, c'est comme acheter des fruits de mer, il faut bien les consommer et les utiliser pendant longtemps.

Il existe deux principaux types d'IP proxy sur le marché, pour reprendre l'analogie du marché alimentaire :

Voici une présentation de nos propres produitsProxy résidentiel dynamique pour ipipgoLeur pool d'adresses IP est automatiquement mis à jour chaque jour, comme un marché de fruits de mer qui s'approvisionne aux premières heures du matin, afin de garantir que chaque demande est faite avec une adresse IP propre au niveau de l'utilisateur réel.

Il est tout à fait possible de construire une chenille qui ne se retourne pas.

Pour reprendre une expression consacrée en Python, il n'y a que trois choses à la base :Intervalle aléatoire + En-tête de requête déguisée + Rotation du mandataire. Consultez la section Paramètres du proxy :

importer des demandes
import random
from time import sleep

proxies = {
    'http' : 'http://user:pass@gateway.ipipgo.io:8000', 'https' : 'http://user:pass@gateway.ipipgo.io:8000'
    'https' : 'http://user:pass@gateway.ipipgo.io:8000'
}

headers_list = [
    {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0)...'} ,
    {'User-Agent' : 'Mozilla/5.0 (Macintosh ; Intel...'}
]

def scrape_etsy(url) : {'User-Agent' : 'Mozilla/5.0 (Macintosh ; Intel...'} ]
    def scrape_etsy(url) : try : response = requests.get()
        response = requests.get(
            url, headers=random.choice(headers_list), headers_list
            headers=random.choice(headers_list),
            proxies=proxies,
            timeout=10
        )
        sleep(random.uniform(1.5, 3.5)) ne pas utiliser d'intervalle fixe
        return response.text
    except Exception as e.
        print(f'Erreur de crawl : {str(e)}')

Faits marquants :
1. dans l'adresse du proxypasserelle.ipipgo.ioC'est leur entrée exclusive.
2. sélectionner aléatoirement le User-Agent avant chaque requête, ne pas utiliser la bibliothèque fake_useragent (elle sera ciblée par l'anti-crawler).
3. une temporisation en virgule flottante pour simuler le rythme des opérations d'une personne réelle

Guide de l'ancien conducteur pour éviter les pièges

Vous pouvez certainement utiliser ces leçons de sang :
- Ne saisissez pas de données entre 3 et 6 heures du matin, lorsque les anomalies de trafic sont les plus perceptibles.
- Ne vous battez pas avec le CAPTCHA, désactivez l'IP actuelle immédiatement (le backend d'ipipgo peut changer l'IP en un seul clic).
- L'intervalle d'exploration de la page des détails du produit est plus long que celui de la page de la liste 30%
- Modifier les combinaisons de paramètres de l'en-tête de la demande une fois par semaine, ne pas utiliser une seule configuration pendant toute la durée de la demande.

Le temps de l'AQ : ce que vous pourriez vouloir demander

Q : L'utilisation d'une adresse IP proxy ralentira-t-elle la vitesse ?
R : Cela dépend de la qualité de l'agent. Comme les nœuds d'ipipgo sont dotés d'un routage intelligent, le délai mesuré peut être contrôlé dans les 200 ms, soit plus de 10 fois plus vite que certains agents libres.

Q : Une adresse IP bloquée peut-elle être rétablie ?
R : Le proxy résidentiel est généralement cool 24 heures fonctionnera, mais il est recommandé de changer directement la nouvelle IP. Les paquets ipipgo viennent avec une fonction de remplacement automatique, qui est bloqué immédiatement commutateur.

Q : Dois-je maintenir mon propre pool d'adresses IP ?
R : Jamais ! Obtenir son propre pool d'adresses IP, c'est comme garder un aquarium de poissons tropicaux, il faut se préoccuper de la température et de la qualité de l'eau. Les choses professionnelles à ipipgo ce genre de fournisseur de services, leur pool IP automatiquement mis à jour tous les jours 20% IP ci-dessus.

Une dernière remarque :La collecte de données s'apparente à une guérillaN'utilisez pas toujours des routines fixes. Préparez plusieurs séries de stratégies de capture, avec des services de proxy IP fiables (comme ipipgo), afin de rire à ce jeu du chat et de la souris. Si vous avez des questions spécifiques, n'hésitez pas à les poser, et je vous donne rendez-vous dans la section des commentaires !