Zillow Dataset: Paquete de datos inmobiliarios históricos Descargar

¿Por qué siempre se atasca la descarga de paquetes de Zillow?

El viejo hierro dedicado al análisis de datos inmobiliarios debe haberse encontrado con esta situación: al subir los datos históricos de precios de vivienda de Zillow, o bien la página se carga lentamente en una tortuga, o de repente aparece CAPTCHA, y lo más trágico es que la IP se bloquea directamente. Esta mierda es como comer fideos sin paquetes de condimentos - sofocante mucho. La causa raíz es sólo dos palabras:Exposición IPEl sistema anti-crawler de Zillow se centra específicamente en las visitas de alta frecuencia a las direcciones IP, y el uso de una sola IP para obtener datos de forma agresiva le pondrá en la lista negra en cuestión de minutos.

¿Cómo se convirtieron las IP proxy en un salvavidas?

Por ejemplo, descargar datos de Zillow en tu red doméstica equivale a llevar un chaleco verde fluorescente y andar por ahí vigilado. Cambiar a una IP proxy es como jugar a un drag show: un nuevo chaleco (dirección IP) para cada petición. Esto es especialmente cierto conAgentes Residenciales DinámicosZillow no puede saber si se trata de una persona real o de una máquina, con las miles de direcciones de red domésticas reales que hay en el grupo IP.

importar peticiones
proxies = {
  'http': 'http://user:password@gateway.ipipgo.io:3000',
  https: http://user:password@gateway.ipipgo.io:3000
}
response = requests.get('https://www.zillow.com/homes/data', proxies=proxies)

Tres consejos para elegir al proveedor de servicios de agencia adecuado

Hay muchos proveedores de servicios IP proxy en el mercado, pero a la entrada del metro hay más pozos que conductores de motos. Céntrate en estos tres indicadores:

Como los que usamos en casa.ipipgoLa mayor ventaja deLa reserva de IP residencial es profundaLa última vez que ayudé a un cliente a rastrear datos de precios de viviendas en Los Ángeles durante 12 horas seguidas con 3 peticiones por segundo no se activó el control de viento. La última vez que ayudé a un cliente a rastrear datos de precios de viviendas en Los Ángeles, 3 peticiones por segundo durante 12 horas seguidas no activaron el control de viento, y los antecedentes mostraron que se utilizaron más de 800 IP residenciales de diferentes ciudades para cambiar automáticamente.

Tutorial práctico de configuración

Aquí tienes una demostración utilizando el framework Scrapy de Python (no te asustes, son sólo 5 líneas de código):

 Añade estas dos líneas a settings.py
LISTA_PROXY_ROTATIVA = [
  'pasarela.ipipgo.io:3000',
  'pasarela.ipipgo.io:3001', 'pasarela.ipipgo.io:3001', 'pasarela.ipipgo.io:3001', 'pasarela.ipipgo.io:3001'
  pasarela.ipipgo.io:3002
]
DOWNLOADER_MIDDLEWARES = {
  scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 543,
}

Aquí viene lo bueno: ¡recuerda activarlo en el backend de ipipgo!Enrutamiento inteligentePor ejemplo, para escalar los datos de Texas (EE.UU.), dará prioridad a la asignación de IP residencial de Dallas y Houston, y la latencia puede reducirse en más de 60%.

Guía del conductor veterano para evitar trampas

1. No utilices agentes libres.: ¡Nueve de cada diez IPs que dicen ser gratuitas han sido marcadas por Zillow como de rastreadores!

2. Frecuencia de solicitud de control: Aunque utilices un proxy, ¡no envíes 20 peticiones por segundo como si tuvieras un ataque!

3. Cabeceras falsas: Recuerda cambiar el User-Agent aleatoriamente, ¡no uses el predeterminado de Scrapy!

Preguntas frecuentes QA

Q：¿Por qué sigue bloqueado aunque ya haya usado un proxy?

R: Compruebe si está utilizando una IP de centro de datos, sustitúyala por el proxy residencial de ipipgo para solucionar el problema inmediatamente.

P: ¿Tengo que mantener mi propio grupo de IP?

R: No es necesario en absoluto, ipipgo background elimina automáticamente las IPs inválidas, y puedes seguir manejando los datos a las 2 de la mañana.

P: ¿Cuánto tardan en descargarse los datos históricos?

R: Con un rastreo de un solo hilo, 100.000 registros alrededor de 6 horas, ¡se recomienda abrir 5 hilos con los 5 puertos de ipipgo para que se ejecuten simultáneamente!

Y por último, la gran verdad: todo el asunto del rastreador de datos.Las IP proxy se eligen correctamente, y el tiempo de baja se duplica. Especialmente los que tienen enrutamiento inteligente como ipipgo, que equivale a contratar a un programador de IP las 24 horas del día, los siete días de la semana, y te ahorra tiempo suficiente para repasar diez episodios de Silicon Valley.