Zillow Web Crawl: IPs residenciales de EE.UU. para datos de propiedades

¿Por qué se bloquea siempre Zillow? En primer lugar, entender la puerta

Recientemente, un montón de amigos que hacen análisis de la propiedad se han quejado a mí, diciendo que el uso de Python para subir los datos de Zillow es más difícil que subir al cielo. Acaba de agarrar dos páginas en el indicador de error 403, cambiar su IP de banda ancha doméstica y vuelva a intentarlo, así, directamente bloqueado durante 24 horas. Este asunto, creo, debe comenzar desde el mecanismo de protección de la página web - Zillow tiene unaBiblioteca de huellas dactilares del comportamiento IPespecializado en identificar el tráfico de máquinas.

Pongamos un ejemplo real: Xiao Wang utilizaba la IP fija de la empresa para subir tres veces al día; los dos primeros días transcurrieron sin problemas, pero al tercero dejó de hacerlo de repente. Más tarde, descubrió que Zillow había bloqueado los segmentos de IP que había visitado continuamente, y otras personas de la intranet de la empresa también lo sufrieron. En este momento, si utiliza elIP proxy residencial para ipipgoLa situación es muy diferente.

En segundo lugar, el agente residencial IP es la dura verdad

Existen tres tipos de agentes comunes en el mercado, utilicemos la tabla para comparar de forma más intuitiva:

El agente residencial de ipipgo tiene un as en la manga: cada solicitud se caracteriza por una red de banda ancha doméstica real. Digamos que Zillow ve registros de acceso de "ancianas comprobando precios de viviendas en California" y no se da cuenta de que es un robot el que hace el trabajo.

En tercer lugar, la mano para enseñar a configurar el agente

Aquí hay un ejemplo en Python, usando la librería requests + ipipgo proxy:

solicitudes de importación

proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:端口',
    https: http://用户名:密码@gateway.ipipgo.com:端口
}

cabeceras = {
    User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}

response = requests.get('https://www.zillow.com/homes/',
                       proxies=proxies,
                       headers=cabeceras,
                       headers=cabeceras, timeout=15)

Fíjese en tres puntos clave:
1. Cada solicitudUser-Agent debe ser cambiado
2. Ajuste el tiempo de espera a no más de 15 segundos
3. Utilización del back-office ipipgo proporcionado porRotación dinámica de puertosfuncionalidad

IV. Guía para que los conductores veteranos eviten el pozo

Pisé estas minas el año pasado mientras ayudaba a una empresa inmobiliaria a recopilar datos:
- Intervalo entre visitas sucesivas demasiado corto (se recomiendan 3-5 segundos de retardo aleatorio)
- No se maneja la página de renderizado de JavaScript (en navegadores headless)
- No se ocupaba de las ventanas emergentes captcha (disponibles en ipipgo)Servicio de Verificación Real)

Hay una cosa mala: una vez usé cierto proxy, mostraba una IP de EEUU, pero Zillow devolvía una página alemana. Entonces cambié a ipipgo.Selección precisa de los grupos de agentes, asignando estado-ciudad-código postal-tres niveles de localización, y se acabaron los problemas.

V. Una amplia colección de prácticas de garantía de calidad

P: ¿Qué debo hacer si utilizo un proxy para reducir la velocidad?
R: Ir con ipipgo'sAcceso exclusivo de alta velocidadNo intentes ser tacaño y utiliza un pool compartido. La velocidad real de descarga puede alcanzar los 2 MB/s, ¡lo cual es suficiente!

P: ¿Cómo puedo comprobar si el agente está en vigor?
R: Visite primero https://ip.ipipgo.com/checkip para comprobar si la IP y la ubicación devueltas son correctas.

P: ¿Cuánto volumen de IP se necesita al día?
¡R: De acuerdo con la experiencia, 10.000 piezas de datos necesitan alrededor de 50 de rotación de IP residencial de calidad. ipipgo nuevos usuarios para enviar 100 IP de prueba, se recomienda probar primero!

La última frase fastidiosa es cierta: el asunto del rastreo de datos, tres partes dependen de la tecnología y siete de las herramientas. Utilice lasAgente residencial + Sistema de despacho inteligenteSi utiliza una estrategia básica anti-escalada, los datos de Zillow es básicamente un plato en un plato. Hay de nuevo a los nuevos internos de la compañía no creen en el mal, proxy no libre duro justo, los resultados desencadenaron la protección del sitio estaba persiguiendo reclamaciones, esta cosa puede ser utilizado como un ejemplo negativo para hablar durante tres años.