Surveillance des prix de la publicité : système de surveillance des agences de publicité

Pourquoi dois-je utiliser une adresse IP proxy pour surveiller les prix des publicités ?

Récemment, un grand nombre d'amis du commerce électronique et moi-même avons vanté les mérites des crawlers pour attraper les données publicitaires des concurrents, qui sont toujours bloquées. Pour citer un cas réel : Hangzhou, une entreprise de vêtements Wang, avec une IP ordinaire pour attraper les données publicitaires d'une plate-forme, a juste attrapé 200 sur le contrôle du vent de déclenchement, le compte a été directement bloqué pendant 15 jours. Cette fois, nous devons utiliser l'IP proxy pour résoudre ce problème.

L'IP ordinaire revient à utiliser la même carte d'identité pour aller retirer de l'argent à la banque tous les jours, et sera bientôt pris pour cible. L'IP proxy équivaut à changer de personne à chaque fois que l'on opère, en diffusant la demande à différentes adresses IP.IP résidentielle dynamique pour ipipgoDans ce scénario, chaque demande provient du réseau domestique d'un utilisateur réel, et la plateforme publicitaire ne peut tout simplement pas déterminer s'il s'agit d'une personne réelle ou d'une machine.

Créer un système de suivi des publicités en trois étapes

Étape 1 : Collecte des données
Ecrire un script de crawler en Python, en se concentrant sur le paramétrage de l'en-tête de requête aléatoire. Voici une astuce clé : obtenir une nouvelle IP à partir de l'API d'ipipgo avant chaque requête. voir cet exemple de code :

import requests
from ipipgo_api import get_proxy Supposons qu'il s'agisse du SDK pour ipipgo_.

def get_ad_data(url).
    proxy = get_proxy(type='dynamic') call dynamic residential IPs
    headers = {'User-Agent' : random.choice(user_agents)}
    response = requests.get(url,
                          proxies={"http" : proxy, "https" : proxy},
                          headers=headers,
                          timeout=10)
    return response.json()

Étape 2 : Contrôle de la fréquence
N'utilisez jamais un intervalle de temps fixe ! Il est recommandé de mettre en place un temps d'attente aléatoire + un mécanisme de changement automatique d'IP. Par exemple, toutes les 5 fois pour récupérer les données afin de changer d'IP, le temps d'attente entre 1 et 3 secondes est aléatoire.

Étape 3 : Nettoyage des données
Concentrez-vous sur le suivi de trois types de modifications des données :

Programme de configuration en direct de l'ipipgo

D'après notre expérience avec les clients que nous avons servis, il s'agit de la combinaison recommandée :

• Pour un suivi quotidienDynamique résidentielle (standard)Package, $7.67/GB suffisant pour répondre à 100 000 requêtes
• Mise à niveau pendant la promotionDynamic Residential (Entreprise)Packages pour supporter une plus grande concurrence
• Pour des besoins particuliers, par exemple lorsqu'une IP fixe est nécessaire, utilisez une IP résidentielle statique pour 35 $/mois.

Il y a un piège facile à éviter : de nombreuses personnes écrivent des adresses IP de proxy mortes dans leur code. La bonne façon de procéder est d'obtenir la dernière adresse IP via l'API avant chaque requête, comme ceci :

 Exemple d'erreur
BAD_PROXY = "123.123.123.123:8888"

 Approche correcte
def get_fresh_proxy().
    return requests.get('https://api.ipipgo.com/get_proxy').json()['ip']

Foire aux questions QA

Q : L'adresse IP du proxy affecte-t-elle la vitesse de collecte des données ?
R : Avec la ligne TK d'ipipgo, vous pouvez accélérer 40%, la latence mesurée étant inférieure à 200 ms. Ne choisissez pas le proxy gratuit, il ralentira vraiment la vitesse.

Q : Comment fonctionne le contrôle des prix annoncés dans les différentes régions ?
R : Il suffit de spécifier le paramètre local dans le code, par exemple pour afficher les publicités de Walmart aux États-Unis :

proxy = get_proxy(country='US', region='California')

Q : Est-il illégal de collecter des données ?
R : Il n'y a rien de mal à utiliser une adresse IP proxy en soi, mais veillez à respecter l'accord avec les robots. Il est recommandé de ne collecter que les données publiques et de ne pas toucher aux informations sensibles pour lesquelles vous devez vous connecter.

Guide pour éviter la fosse

Récemment, j'ai remarqué que de nombreux utilisateurs sont tombés amoureux de ces domaines :

1. Aucun paramètre de délai n'est défini, ce qui bloque le programme.
2. Plus de 50 demandes consécutives provenant de la même adresse IP
3. Oublier de gérer la validation des certificats SSL (solution : ajouter le paramètre verify=False aux requêtes)

Enfin, un petit conseil : le système anti-escalade de la plateforme publicitaire met à jour la stratégie à 3 heures du matin, et le taux de réussite de la collecte de données est le plus élevé à cette heure-là. Utilisez la fonction de tâches programmées d'ipipgo pour mettre en place une collecte automatique tôt le matin, ce qui peut vous épargner bien des maux de cœur.