Yelp Crawl: Solución de captura de reseñas de comerciantes

¿Cuál es la parte difícil del rastreo de Yelp? Averigua por qué te bloquean.

Comprometido en la recopilación de datos de la vieja hierro entender, Yelp mecanismo anti-escalada es más estricta que la madre pro para comprobar el teléfono móvil. Especialmente los datos de revisión, directamente relacionados con los intereses centrales de la plataforma. El año pasado, un amigo utilizó su propia banda ancha para subir durante tres días seguidos.La IP está directamente en negroincluso las cuentas habituales están bloqueadas, una maldita lección aprendida.

He aquí un concepto erróneo que conviene corregir: mucha gente cree que sólo necesita controlar la frecuencia de las solicitudes. De hecho, Yelp se fija en una combinación deDirección IP, huellas dactilares del dispositivo, rastros de comportamientoTres dimensiones. Por ejemplo, si se realiza una visita desde un IP de Nueva York por la mañana y se pasa a un IP de Los Ángeles por la tarde, este tipo de transitoriedad temporal y espacial provocará una alerta.

 Ejemplos de código típicos
importar peticiones
for page in range(1,100): response = requests.get(f'{page}')
    response = requests.get(f'https://www.yelp.com/biz/xxx/review_feed?page={page}') ¡Se bloqueará el cambio continuo de página!

Vive y aprende los tres principales conjuntos de IP proxy

A continuación le enseñamos algunos escenarios probados en batalla, utilizando el servicio de ipipgo como ejemplo:

Tropo 1: el principio de correspondencia territorial
Por ejemplo, si desea rastrear reseñas de restaurantes chinos de San Francisco, utilice exclusivamente IPs residenciales de California. ipipgo tiene la ventaja de poderPosicionamiento de precisión a nivel de ciudadA diferencia de algunos proxies que aparecen en California que en realidad son IPs de salas de servidores de Texas.

Conjunto 2: Estrategia de rotación dinámica
Se recomienda cambiar de IP cada 20 comentarios recopilados, pero hay que tener en cuenta dos cosas:
1. la nueva IP debe pertenecer al mismo operador que la IP anterior (por ejemplo, ambos Comcast)
2. El tiempo de sustitución debe simular la velocidad de lectura de la gente real, no cambies al punto entero de los segundos de atasco.

Conjunto III: Mecanismos de no subsanación
Prepare un script de monitorización que se ejecute automáticamente cuando encuentre un código de estado 403:
1. Pausa inmediata de 30-90 segundos
2. Cambie la IP de la lista blanca de ipipgo (se recomienda IP fija en el paquete enterprise)
3. Borre las cookies locales y vuelva a iniciar sesión

Sesión de control de calidad: No pise estos baches

P: Obviamente, utilicé una IP proxy, ¿pero aun así me bloquearon?
R: Comprueba si la IP llevaContaminación de la cabecera HOSTAlgunos proxies baratos modifican las cabeceras HTTP. Utilice la interfaz de detección de ipipgo para verificarlo:

curl --proxy http://user:pass@ipipgo-proxy:puerto https://ip.ipipgo.com/header-check

P: ¿Qué debo hacer si la velocidad de recogida es como la de un caracol?
R: ¡No utilice proxies gratuitos! El paquete empresarial de ipipgo admitetunelización simultáneaLa prueba puede funcionar con un ancho de banda de hasta 500 Mbps. Recuerda añadir "Connection: keep-alive" en la cabecera de la petición para multiplexar el enlace.

P: ¿Cómo se evitan los riesgos jurídicos?
R: ¡Concéntrate! Aunque no es ilegal recopilar datos públicos, tenga cuidado:
1. No tocar los datos privados de los usuarios (números de teléfono, contenido de los mensajes privados)
2. configurar el analizador robots.txt para evitar directorios prohibidos
3. Recomendaciones comerciales para la compra de ipipgo'sPaquetes de conformidadservicio

Diga la verdad.

Los proveedores de servicios de proxy de mercado son una bolsa mixta, algunos pequeños talleres IP pool en cientos de direcciones utilizadas repetidamente. He probado uno antes, y 18 de 20 IPs están en la lista negra de Yelp. ipipgo tiene una ventaja exclusiva.Actualización en tiempo real de los datos térmicosSu equipo de rastreo actualiza diariamente los segmentos de IP disponibles.

El sistema de cuentas de Yelp está vinculado a la IP, el dispositivo y el comportamiento, y una vez que es anormal, será inmediatamente tarjeta roja. Se recomienda utilizar el modo de visitante para recopilar, si tiene que iniciar sesión, ¡recuerde vincular cada cuenta!IP independiente + entorno de navegación independiente.