Airbnb dataset: un recurso para los datos de B&B

Los escollos de la captura de datos en B&B

Recientemente, un montón de amigos que hacen la operación de B & B se acercó a mí para quejarse, diciendo que querían analizar los datos de anuncios en Airbnb, y como resultado, sólo después de agarrar unas pocas páginas, sus IPs fueron bloqueados, que es algo que estoy demasiado familiarizado con, y caí en problemas el año pasado cuando ayudé a una cadena hotelera para hacer un análisis de la competencia. En ese momento, utilicé la red de mi oficina para capturar los datos, los primeros 200 artículos estaban bien, pero de repente saltó el CAPTCHA, y después de media hora, la IP directamente a la lista negra.

Más tarde se descubrió que el mecanismo anti rastreo de la plataforma era más sofisticado de lo esperado.mucho más inteligente.. No sólo se fijan en la frecuencia de las visitas, sino que las comprueban:

1. si la cabecera de la solicitud se parece a la de un navegador real
2. si hay alguna irregularidad en el intervalo entre clics, como en el caso de una operación humana
3. Si la ubicación geográfica de la dirección IP y la ubicación del B&B coinciden.

Cómo las IP proxy se convirtieron en un arma mágica de recopilación de datos

Hay que mencionar aquí un caso de la vida real. Tengo un aprendiz haciendo B & B análisis de precios en Chengdu, y la necesidad de controlar los datos de cotización en Sanya en tiempo real. El uso de una IP local acaba de comprobar 3 veces y activó el control del viento, y luego cambió elipipgode IP residenciales dinámicas, simulando con éxito el comportamiento de navegación de los visitantes reales.

Céntrate en las maravillas de las IP residenciales dinámicas. ComoipipgoEl pool de rotación cambia automáticamente de IP para cada solicitud, lo que resulta especialmente adecuado para escenarios que requieren la comparación de datos multirregión. Por ejemplo, si capturas simultáneamente los precios de B&B en la segunda y la quinta circunvalación de Pekín, y los visitas con IP de distintas regiones, la plataforma los considerará tráfico natural.

Le enseñará a utilizar la IP proxy para captar datos

Aquí tienes un ejemplo de Python en vivo (no te preocupes por leerlo, sólo síguelo):

importar peticiones
from random import elección

 Grupo de proxies de ipipgo
proxies = [
    "http://user:pass@23.88.12.34:8888",
    "http://user:pass@45.67.89.12:8888".
     Aquí se recomienda tener al menos 50 IPs
]

url = "https://www.airbnb.cn/room/123456"

for _ in range(100):
    try: resp = requests.get(url, url)
        resp = requests.get(url,
            proxies={"http": choice(proxies)}, headers={"User-Agent": "Mozilla 5.0.
            headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0)..."}
        )
        print(resp.text[:200]) Imprime los primeros 200 caracteres para ver si ha tenido éxito.
    except Exception as e.
        print("Reintentando con una dirección IP diferente:", e)

Hay tres puntos clave:① El pool de IPs debe ser lo suficientemente grande ② IPs seleccionadas al azar ③ camuflaje de cabeceras de petición.. Cuando utilices el servicio de ipipgo, recuerda que su API soporta el reemplazo automático de IPs, lo que supone mucho menos trabajo que mantener un proxy tú mismo.

Cinco preguntas frecuentes de los blancos

P1: ¿Por qué es necesaria una IP residencial?
R: Las plataformas de B&B son especialmente sensibles a las IP de los centros de datos, y las IP residenciales parecen auténticos turistas, como si llevar una máscara en una mascarada fuera más natural que no.

P2: ¿Cuánto volumen de IP se necesita al día?
R: Fíjate en la frecuencia de recogida. Se recomienda que cada IP no supere las 30 solicitudes por hora, y si quieres recopilar 1.000 datos, es más seguro preparar 50 IP.

P3: ¿Qué debo hacer si encuentro un CAPTCHA?
R: Detenga inmediatamente la solicitud de IP actual, cambie a una nueva IP y reduzca la frecuencia. El paquete de ipipgo con función de cambio automático puede ahorrar muchas cosas.

P4: ¿Es legal el scraping de datos?
R: Siempre que no afecte a la privacidad del usuario, la simple recopilación de información de listas públicas es un análisis competitivo legítimo. Sin embargo, recuerde establecer intervalos de recopilación razonables.

P5：¿Cómo elegir un proveedor de servicios de agente?
R: Céntrate en la pureza de la IP (si está marcada por la plataforma) y en la velocidad de respuesta. Como el pool de IPs de ipipgo se actualiza semanalmente con 20%, lo que básicamente evita listas negras.

Un poco de experiencia sincera.

El año pasado, cuando ayudé a mi cliente a hacer el análisis de mercado del sudeste asiático B & B, he utilizado siete u ocho servicios de proxy. Algunos IP barata mirada rentable, el resultado de 30% IP son la lista negra de la plataforma. Más tarde cambió ipipgo exclusivo paquete de IP, la eficiencia de recogida directamente duplicado. Su servicio al cliente tiene una función que es particularmente útil -.Detección de calentamiento IPLa dirección IP de un segmento IP bloqueado puede excluirse de antemano.

Dos últimos recordatorios de dos baches para los novatos:
1. No compres una IP compartida barata, no es diferente de apretujarse en un autobús, una persona se bloquea y todo el autobús sufre.
2. No recopilar a intervalos regulares; los seres humanos no se detienen durante segundos cuando navegan por la web.

Si estás empezando con IPs proxy, te recomendamos empezar directamente con el paquete de experiencia de ipipgo. Ellos envían a los nuevos usuarios un periodo de prueba de 3 días, lo suficiente para probar el proceso de recolección. Recuerde, la herramienta de recolección es sólo un medio para un fin, el punto es ver las necesidades reales del mercado de B&B a través de los datos.