Costco Price Tracker : Moniteur de prix Costco

Tout d'abord, la fête du découpage de Costco est essentielle : la surveillance des prix, en fin de compte, quelle est l'utilité ?

Chaque fois que vous allez chez Costco, c'est comme si vous ouvriez une boîte aveugle de peur de manquer des articles en solde ? Avez-vous acheté une boîte de noix l'année dernière qui a maintenant perdu 30 $ ? C'est à ce moment-là que vous avez besoin d'un indicateur de prix.Suivre les prix des matières premières 24 heures sur 24Le système compare automatiquement les prix. Le système compare automatiquement les prix, ce qui permet d'économiser beaucoup d'argent, en particulier lors des promotions du vendredi noir et de Noël.

Mais voici le problème : le site officiel de Costco est très strict en ce qui concerne les adresses IP fréquemment consultées, et les scripts ordinaires seront bloqués s'ils fonctionnent pendant une demi-heure. La semaine dernière, mon voisin Lao Wang a utilisé un crawler pour récupérer des données et a fini par bloquer sa propre adresse IP à large bande, et maintenant il ne peut même pas ouvrir le site officiel...

Deuxièmement, les conseils anti-blocage : le proxy IP permet de jouer sur la surveillance des prix.

C'est ici qu'il faut déménager.Proxy IP ComboEn haut, il s'agit simplement de faire croire au serveur que les demandes d'accès proviennent de différentes régions et de différents appareils. Avec le service proxy résidentiel d'ipipgo, qui change automatiquement d'adresse IP pour chaque demande, le site officiel ne peut pas savoir s'il s'agit d'une personne réelle ou d'un robot.

importation de requêtes
from itertools import cycle

proxies = ipipgo.get_proxies(type='residential') obtient des pools d'IP résidentielles dynamiques
proxy_pool = cycle(proxies)

def check_price(item_url).
    for attempt in range(5).
        try : proxy = next(proxy_pool)
            proxy = next(proxy_pool)
            response = requests.get(item_url, proxies={"http" : proxy, "https" : proxy)
                proxies={"http" : proxy, "https" : proxy}, timeout=10)
                timeout=10)
             Code pour analyser les données de prix...
            break
        except Exception as e.
            print(f "Echec de la requête {attempt+1}, changement d'IP et nouvelle tentative.")

Troisièmement, choisissez l'IP proxy des trois fosses : 90% people are planted here !

Ne regardez pas les nombreux tutoriels en ligne, mais dans la pratique, c'est du tonnerre :

Quatrièmement, l'enseignement main dans la main : construire son propre système de comparaison des prix

1. s'inscrire sur le site web de l'ipipgo pour recevoir les informations suivantes500MB de trafic gratuitSélectionner le package agent résidentiel nord-américain
2. installer la bibliothèque requests-html de Python (fonctionne mieux que BeautifulSoup)
3. configurer l'intergiciel pour la commutation automatique d'IP, et il est recommandé de fixer le nombre de tentatives infructueuses à plus de cinq.
4. saisir les données et les stocker dans la base de données, puis utiliser Matplotlib pour générer un graphique de fluctuation des prix.

V. AQ pratique : les problèmes que vous pouvez rencontrer

Q : Quelle est la fréquence de contrôle appropriée ?
R : Les produits frais 3 fois par jour, les produits de première nécessité 1 fois par jour suffisent, ne vérifiez pas les stocks à chaque minute !

Q : Que dois-je faire si je rencontre des prix de chargement dynamiques ?
R : changer pour Selenium + proxy plugin, n'oubliez pas d'ouvrir en arrière-plan ipipgoDéguisement de l'empreinte digitale du navigateurFonctionnalité

Q : Comment puis-je recevoir en temps utile des alertes sur les réductions de prix ?
R : Utilisez IFTTT pour lier la notification par e-mail, le prix tombe en dessous du seuil défini automatiquement déclenché, beaucoup plus facile que de regarder manuellement !

Six, pourquoi recommander ipipgo, ces trois points n'ont pas vraiment d'autres familles.

1. soutien exclusifPositionnement au niveau de l'entrepôt CostcoLa différence de prix entre les différents points de vente peut également être constatée
2. en cas de CAPTCHA, appeler automatiquement le service de codage, le taux de réussite est passé de 47% à 89%.
3. service continu lorsque le trafic est surchargé, réduction automatique de la vitesse à 1 requête/minute pour éviter une interruption soudaine de la perte de données.

La dernière fois que j'ai utilisé un fournisseur de services qui commençait par L, la surveillance a été interrompue à 3 heures du matin, ce qui m'a fait rater la diffusion de la télévision et j'étais tellement en colère que je l'ai désinstallé. Je suis passé à ipipgo et je l'ai installé.Déconnexion et reconnexion automatiqueset n'a plus jamais fait tomber de chaîne pendant six mois.