Obtención de datos de hoteles con Python: sistema de comparación de precios

Un caso real le enseña a desherbar hoteles con Python

Recientemente, me metí en un gran pozo cuando ayudé a mi amigo para hacer una herramienta de comparación de precios de hoteles - Acabo de agarrar 3 sitios web y tengo mi IP bloqueada. más tarde, he utilizado ipipgo's proxy IP pool, y ahora puedo agarrar 2000+ hoteles' datos de forma estable todos los días. Hoy, te enseñaré como usar Python + proxy IP para hacer el comparador de precios de hoteles.

¿Por qué no puedo cogerlo sin una IP proxy?

El mecanismo anticrawler de la plataforma hotelera es más sofisticado que una suegra:

1. 30 visitas consecutivas a una sola IP chantaje directo
2. Detección de visitas regulares saltándose directamente el código de verificación
3. Vigilancia más estricta por la mañana (no me preguntes cómo lo sé)

Aquí es donde se necesita una IP proxy que actúe comocapa de invisibilidad. Prueba real con el servicio de IP rotativa de ipipgo, la tasa de éxito se disparó directamente de 23% a 89%.

Los tres pilares de la elección de una IP proxy

Hay miles de agentes en el mercado, pero hay que reconocer estos puntos para captar los datos de los hoteles:

Recordatorio especial: no utilices esos proxies gratuitos, la última vez que probé 20 IPs gratuitas, 19 de ellas han sido retiradas por la plataforma del hotel.

Código real con comentarios

Por ejemplo, un hotel de campo que sirve comida dura:

importar peticiones
from random import elección

 Interfaz API para ipipgo (solicite su propio reemplazo)
IP_API = "http://ipipgo.com/api/get?key=你的密钥"

def get_proxy().
    """Obtener IPs nuevas dinámicamente""""
    ips = requests.get(IP_API).json()['datos']
    return {'http': f'http://{choice(ips)}'}

url = 'https://hotel.某程.com/list'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64...'}

probar.
     Nueva IP para cada petición
    response = requests.get(url,
                         headers=cabeceras, proxies=get_proxy
                         proxies=get_proxy(), timeout=8)
                         timeout=8)
    print(response.text[:200]) ver los primeros 200 caracteres
except Exception as e.
    print(f "Error de rastreo, pero cambio automático de IP: {e}")

Resáltalo tres veces:No se puede omitir el ajuste del tiempo de espera. Algunas IPs proxy son lentas en responder, y no establecer un tiempo de espera atascará todo el proceso.

Guía de prevención de vuelcos

He pisado estos baches por ti:

1. mayor tasa de éxito de 1-5am (defensa de la plataforma es floja)
2. cada solicitud aleatoria dormir 1-3 segundos (simulación de personas reales)
3. descartar inmediatamente la IP actual al encontrar CAPTCHA
4. cambiar el User-Agent cada día (no usar UA falso)

Conjuntamente con ipipgopago por volumenel costo de hacer el sistema de comparación puede ahorrar 60% - después de todo, no tiene que pagar por IP no válida.

Triple control de calidad de White

P: ¿Qué debo hacer si mi IP proxy va lenta?
R: Seleccione el modo "Prioridad de Velocidad" en el fondo del ipipgo, el retardo real puede ser presionado dentro de los 200ms.

P: ¿Me castigará la ley?
R: Sólo rastrea datos públicos, no toques la información del usuario. Se recomienda rastrear dentro del rango permitido de robots.txt

P: ¿Cuánto volumen de IP se necesita al día?
¡R: Para 200 hoteles/día, 500-800 IPs son suficientes. ipipgo envía 500 IPs para que los nuevos usuarios prueben!

Consejos avanzados para el sistema de comparación de precios

Haz esto y habrás superado a la competencia 80%:

1. Capture 3-5 plataformas al mismo tiempo con múltiples hilos (preste atención al control de concurrencia)
2. Utilizar la función "geo-targeting" de ipipgo para capturar ciudades específicas.
3. desensamblaje de datos (diferentes plataformas pueden ser el mismo hotel)
4. seguimiento de la fluctuación de precios (establecer recordatorio de subida y bajada 10%)

Una última acción chabacana: usar el ipipgo deIP estática de larga duraciónpara hacer el seguimiento de los datos, más estable que la IP dinámica, adecuada para escenarios que necesitan vigilar el precio durante mucho tiempo.

En la tecnología, lo más importante es .......uh, se puede ejecutar en la línea. Si usted tiene alguna pregunta, no dude en charlar en la sección de comentarios, y si su código no funciona, recuerde comprobar si se olvidó de cambiar su clave de API.