DoorDash Dataset : Kit de données sur l'industrie des plats à emporter

Est-il difficile d'obtenir des données sur les produits à emporter ?

Quiconque possède un commerce de plats à emporter sait qu'il est plus difficile que jamais d'obtenir des informations sur ses concurrents. Surtout sur des plateformes comme DoorDash, où la protection des données est très stricte. La semaine dernière, un ancien client d'une pizzeria s'est plaint à moi que son entreprise familiale transcrivait manuellement les informations de ses concurrents et que, par conséquent, le compte était bloqué dès le lendemain, si bien qu'il était impatient d'en découdre.

Il est temps de sortir nosIP proxy神器了。举个栗子，你要采集全城汉堡店的配送范围，如果用自家网络反复请求，DoorDash的防火分分钟给你打上”机器人”标签。但要是每次请求都换个IP地址，就像让不同的人去店里探店，平台压根察觉不到异常。

import requests
from ipipgo import get_proxy Le SDK pour ipipgo est appelé ici.

def fetch_menu(store_id) :
    proxies = {
        "http" : get_proxy("residential"), utiliser le proxy résidentiel pour plus de réalisme
        "https" : get_proxy("residential")
    }
    url = f "https://api.doordash.com/v2/stores/{store_id}/menu"
    headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64)"}

    try : response = requests.get(url)
        response = requests.get(url, headers=headers, proxies=proxies, timeout=10)
        return response.json()
    except Exception as e.
        print(f "Erreur de crawl : {str(e)}")
        return None

Mauvais choix de l'IP proxy, la collecte des données est vaine.

Les fournisseurs de services proxy sur le marché sont un sac mélangé, j'ai vu le plus pitoyable est une certaine revendication à des millions de pool IP, le résultat est que 15 sur 20 requêtes sont identifiées par DoorDash. Plus tard, j'ai changéipipgo(utilisé comme expression nominale)IP résidentielle dynamiqueL'effet est immédiat. Ils ont une astuce unique - le contrôle du temps de survie de l'IP est le même que celui des utilisateurs réels, il n'y aura pas d'embarras lié à l'enregistrement du pied avant après le pied déconnecté.

Cas pratique : surveillance des plats pop-up avec ipipgo

L'année dernière, j'ai aidé une chaîne de sushis à effectuer une analyse concurrentielle et elle souhaitait contrôler en temps réel tous les restaurants hibachi situés dans un rayon de 10 km les uns des autresNouveaux produits en rayonrépondre en chantantPromotions. Nous fonctionnons de la manière suivante :

1. l'adoption d'ipipgoPositionnement IP au niveau de la villeVoici quelques exemples de la manière de s'assurer que chaque demande provient de la zone cible
2. régler l'adresse IP pour qu'elle change toutes les 5 minutes
3. avec la technologie de camouflage de l'empreinte digitale du navigateur (plus d'informations à ce sujet la prochaine fois)
4. identification automatique des changements de menu et déclenchement d'alertes par courrier électronique

Il s'est avéré que la semaine suivante, nous avons surpris nos concurrents en train de pousser...Paquet de 9,90Le client a immédiatement adapté son offre à l'heure du déjeuner et le chiffre d'affaires a augmenté de 23% ce mois-là.

Une session d'AQ à voir absolument pour les débutants

Q : Est-il légal de collecter des données à l'aide d'un proxy IP ?
R : Tant que vous ne piratez pas le site web ou ne volez pas les informations des utilisateurs, la simple collecte de données publiques revient à regarder une vue de la rue à travers un télescope, et c'est tout à fait normal. Bien entendu, cela dépend des conditions générales de la plateforme, et il est recommandé de consulter un conseiller juridique avant de procéder à la collecte.

Q : Pourquoi recommandez-vous ipipgo ?
R : Trois raisons essentielles : ① Son pool d'adresses IP couvre200+ pays②ExclusifTaux de réussite garanti des demandesLe nombre d'heures est inférieur à 95% automatiquement ③ La réponse du service clientèle est plus rapide que la prise en charge, le dernier ordre de travail de problème de 3 heures du matin, 5 minutes pour recevoir la solution.

Q : À quels détails dois-je prêter attention lors de la collecte ?
A : se concentrer ! ① contrôler la fréquence des demandes, ne pas faire croire à une attaque DDoS ② randomisation de l'intervalle de fonctionnement, l'ordre réel qui n'est pas si ponctuel ③ nettoyage régulier Cookies, ne pas laisser la plateforme se souvenir de vos "empreintes digitales numériques".

Guide pour éviter les pièges : Ne marchez pas sur ces mines

Récemment, j'ai constaté que certains de mes pairs étaient devenus des proies faciles.Pureté IPSur. Un ami qui faisait de l'analyse de données a acheté un proxy d'occasion pour pas cher, ce qui a eu pour effet de bloquer massivement le compte DoorDash. Plus tard, il est passé au proxy d'ipipgoPaquet IP exclusifC'est la seule façon de résoudre le problème, c'est plus cher mais cela vous évite d'être bloqué.

Un dernier conseil : ne vous fiez pas à ceux qui prétendent être des"Efficacité permanente"des IP proxy, il n'y a tout simplement pas de méthode unique dans ce domaine. Il est recommandé de choisir un proxy comme ipipgo qui peutChangement d'adresse IP en temps réelCe service est comme une cloche d'or pour la collecte de données, qui est sûre et sans tracas.