Expedia Crawler: rastreo de datos de viajes

¿Por qué tengo que utilizar una IP proxy para capturar los datos del viaje?

Hermanos dedicados a la captura de datos de viajes deben entender, Expedia una plataforma tan grande mecanismo anti-escalada con los controles de seguridad como, atrapado el tráfico sospechoso a la muerte del sello. El mes pasado vi personalmente un novato, con su propia banda ancha doméstica incluso agarró dos horas, los resultados de la IP directamente estar en la lista negra, incluso la reserva normal de los hoteles se ven afectados.

Es entonces cuandoGrupo de IP proxyLo primero que tienes que hacer es conseguir uno nuevo, y podrás hacerlo. Lo primero que tienes que hacer es ponerte a la cola en un punto panorámico popular, y puedes ser fácilmente el objetivo de los revendedores, pero si puedes cambiar tu DNI en cualquier momento para entrar, ¿no es mucho más estable? El Proxy Residencial Dinámico de ipipgo es hacer precisamente eso, con IPs residenciales reales en más de 200 países de todo el mundo, y sin miedo a ser bloqueado a la primera de cambio.

Manos a la obra con un rastreador de Expedia.

Empecemos con un ejemplo de código real, utilizando la biblioteca de peticiones de Python. Sólo hay tres puntos clave:Encabezado UA aleatorioyintervalo de solicitudyRotación de agentes.

importar peticiones
from itertools import ciclo
import tiempo
import aleatorio

 Lista de proxies del backend ipipgo
proxies = [
    "http://user:pass@gateway.ipipgo.com:8000",
    "http://user:pass@gateway.ipipgo.com:8001".
     ... Más nodos proxy
]
proxy_pool = ciclo(proxies)

lista_cabeceras = [
    {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36'},
    {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)'}, ...
     ... Preparar 10+ UAs
]

def scrape_hotel(url).
    probar.
        proxy = next(proxy_pool)
        cabeceras = random.choice(lista_cabeceras)
        response = requests.get(url,
                              proxies={"http": proxy, "https": proxy},
                              cabeceras=cabeceras,
                              timeout=15)
         Procesamiento de los datos de respuesta...
        time.sleep(random.uniform(2,5)) Espera aleatoria antirregularidad
    except Exception as e.
        print(f "Error de rastreo: {e}, cambiar al siguiente proxy")

Tenga en cuenta que aquí hay dos baches:No utilice un proxy de centro de datos(fácilmente reconocible).Debe cambiar de UA para cada solicitud. He probado esto antes, usando el proxy residencial de ipipgo + esta configuración, y funcionó durante tres días sin activar el captcha.

Guía de selección de IP proxy para evitar errores

Aquí está el truco.suspensión de la sesiónAlgunas API de Expedia quieren aceptar cookies, por lo que hay que utilizar la de ipipgoFunción de enlace de sesiónSi lo haces, asegúrate de usar la misma IP de salida para todo el ciclo de sesión, o estarás rebotando la autenticación en minutos.

Preguntas prácticas más frecuentes QA

P: ¿Qué puedo hacer respecto a la lentitud de la velocidad IP del proxy?
R: Se da prioridad a los nodos geográficamente próximos, por ejemplo, el nodo de Chicago de ipipgo se utiliza para capturar los datos de Norteamérica. Si el retraso es superior a 2 segundos, se recomienda establecer un mecanismo de reintento en el código.

P: ¿Por qué me siguen bloqueando después de usar un proxy?
R: Compruebe tres puntos: 1. la cabecera de la petición con o sin parámetros de cookie 2. si hay una operación de repetición de alta frecuencia 3. la pureza de la IP del proxy. Puede utilizar la interfaz de detección de ipipgo para comprobar el primer punto en vivo.

P: ¿Cómo rompo el captcha de Expedia?
R: No seas duro, simplemente abandona el proxy actual cuando te encuentres con CAPTCHA. Los proxies de ipipgo sonMecanismo automático de eliminación progresivala IP etiquetada se desconectará temporalmente.

Diga la verdad.

Como recordatorio final, los datos de captura nunca debenNo vayas a por más de lo que puedas soportar.. He visto a gente abrir 50 hilos y disgustarlos tanto que acaban bloqueando todo el segmento ASN. Fijar la tasa de forma razonable (se recomienda entre 1 y 3 veces/minuto), junto con el enrutamiento inteligente de ipipgo, es la solución a largo plazo. Al fin y al cabo, lo que queremos son datos, no competir con el equipo de seguridad de la plataforma, ¿no?