Control del precio de la publicidad: sistema de control de las agencias de publicidad

¿Por qué tengo que utilizar una IP proxy para controlar el precio de los anuncios?

Recientemente, un montón de amigos hacer amigos de comercio electrónico y me promocionado, dijo con rastreadores para atrapar competidores datos de publicidad siempre está bloqueado. Para citar un caso real: Hangzhou, una empresa de ropa Wang, con IP ordinaria para coger una plataforma de datos de publicidad, acaba de coger 200 en el control del viento de disparo, la cuenta fue bloqueada directamente durante 15 días. Esta vez tenemos que utilizar IP proxy para resolver este punto de dolor.

La IP ordinaria es como utilizar el mismo DNI para ir todos los días al banco a sacar dinero, y pronto será el objetivo. La IP proxy equivale a cambiar cada vez de persona para operar, repartiendo la petición a diferentes direcciones IP.IP residencial dinámica para ipipgoEn este escenario, cada solicitud procede de la red doméstica de un usuario real, y la plataforma publicitaria simplemente no puede saber si se trata de una persona real o de una máquina.

Cree un sistema de control de anuncios en tres pasos

Etapa 1: Recogida de datos
Escribe un script de rastreo en Python, centrado en establecer la cabecera de petición aleatoria. Aquí hay un truco clave: obtener una nueva IP de la API de ipipgo antes de cada petición. ver este ejemplo de código:

importar peticiones
from ipipgo_api import get_proxy Supongamos que este es el SDK para ipipgo_.

def get_ad_data(url).
    proxy = get_proxy(type='dynamic') call IPs residenciales dinámicas
    headers = {'User-Agent': random.choice(user_agents)}
    response = requests.get(url,
                          proxies={"http": proxy, "https": proxy},
                          cabeceras=cabeceras,
                          timeout=10)
    return respuesta.json()

Paso 2: Control de frecuencia
No utilice nunca un intervalo de tiempo fijo. Se recomienda establecer un tiempo de espera aleatorio + mecanismo de cambio automático de IP. Por ejemplo, cada 5 veces para capturar los datos para cambiar de IP, tiempo de espera entre 1-3 segundos aleatorios flotantes.

Paso 3: Depuración de datos
Centrarse en la supervisión de tres tipos de cambios en los datos:

programa de configuración ipipgo live

Según nuestra experiencia con los clientes a los que hemos atendido, esta es la combinación recomendada:

• Para el seguimiento diarioResidencial dinámico (estándar)Paquete, 7,67 $/GB suficiente para captar 100.000 peticiones
• Actualizar durante la promociónResidencial dinámico (empresa)Paquetes para una mayor concurrencia
• Para necesidades especiales, como cuando se requiere una IP fija, utilice una IP residencial estática por 35 $/mes.

Hay un pozo fácil de pisar: mucha gente escribe direcciones IP de proxy muertas en su código. La forma correcta de hacerlo es obtener la última IP a través de la API antes de cada solicitud, así:

 Ejemplo de error
BAD_PROXY = "123.123.123.123:8888"

 Enfoque correcto
def get_fresh_proxy().
    return requests.get('https://api.ipipgo.com/get_proxy').json()['ip']

Preguntas frecuentes QA

P: ¿Afectará la IP proxy a la velocidad de recogida de datos?
A：用ipipgo的TK专线能提速40%，实测在200ms以内。注意别选免费代理，那才真会拖慢速度

P: ¿Cómo funciona el seguimiento de los precios anunciados en las distintas regiones?
R: Basta con especificar el parámetro de configuración regional en el código, por ejemplo, para captar anuncios de Walmart en Estados Unidos:

proxy = get_proxy(country='US', region='California')

P: ¿Es ilegal recopilar datos?
R: No hay nada malo en usar una IP proxy per se, pero ten cuidado de seguir el acuerdo de robots. Se recomienda recopilar solo datos públicos, no toques la información sensible que necesitas iniciar sesión para ver.

Guía para evitar el pozo

Últimamente, me he dado cuenta de que muchos usuarios han caído de cabeza en estas áreas:

1. No se ha establecido ningún parámetro de tiempo de espera, lo que provoca que el programa se bloquee.
2. Más de 50 solicitudes consecutivas desde la misma IP
3. Olvido de la validación de certificados SSL (solución: añadir el parámetro verify=False a las peticiones)

Por último, un conocimiento frío: el sistema anti-escalada de la plataforma publicitaria actualiza la estrategia a las 3 de la mañana, y la tasa de éxito de la recogida de datos es la más alta a esta hora. Utilice la función de tareas programadas de ipipgo para configurar la recogida automática a primera hora de la mañana, puede ahorrarse muchos disgustos.