Zillow Web Crawler: Herramienta de recogida de datos sobre el precio de la vivienda

¿Cuál es la parte difícil de la captura de datos de Zillow?

Si te has dedicado al rastreo de datos de propiedades, sabrás que el mecanismo anti rastreo de Zillow es más estricto que la seguridad de las propiedades. Si no prestas atención, te bloquearán la IP, lo más lamentable es que a veces ni el código de verificación te dan para jugar, directamente te dan una página en blanco. Este sitio es principalmente para evitar tres tipos de operación:Visitas de alta frecuenciayIP Repeat LoginyTrayectorias no convencionales.

Por darte una castaña, tu IP local puede quedar en negro si consultas 50 listados al día. Lo que es aún mejor es su geo-fencing, ciertos listados regionales deben tener una IP local para ver los detalles. Esta vez tienes que recurrir a la IP proxy paraHacerse pasar por un usuario real en otra regiónTenga en cuenta que no es ah, es puramente para hacer frente a las limitaciones de acceso del propio sitio.

Consejos de configuración de la IP proxy

Aquí tienes una castaña usando la librería requests de Python, centrada en cómo frotar el proxy de ipipgo en el código. Ten cuidado de sustituirlo por la contraseña de tu propia cuenta, no seas estúpido y lo copies directamente:

importar peticiones
from itertools import ciclo

 Lista de proxies de ipipgo (recuerda sustituirlos por información real)
proxies = [
    "http://用户名:密码@gateway.ipipgo.com:9000",
    "http://用户名:密码@gateway.ipipgo.com:9001".
    "http://用户名:密码@gateway.ipipgo.com:9002"
]

proxy_pool = cycle(proxies)

para página en rango(1, 10): proxy_actual = siguiente(proxy_pool)
    proxy_actual = siguiente(proxy_pool)
    try: proxy_actual = siguiente(proxy_pool)
        response = requests.get(
            f "https://www.zillow.com/homes/{page}_p/",
            proxies={"http": proxy_actual}, timeout=10
            tiempo de espera=10
        )
         Añade tu código de análisis aquí...
    except Exception as e.
        print(f "¡Falló con {proxy_actual}, cambie al siguiente! Mensaje de error: {str(e)}")

Concéntrate en tres pozos:

1. No utilice proxies gratuitos, 9 de cada 10 son inválidos, dejando a 1 en el camino del fracaso
2. Corta proxies aleatoriamente para cada petición, no uses una única IP a muerte.
3. No configures el tiempo de espera a más de 15 segundos, y no esperes si estás realmente bloqueado.

¿Por qué recomienda ipipgo?

Hay que elogiar nuestros propios productos, pero hay que hacerlo al punto. Hace poco probé para mi equipo siete u ocho proveedores de servicios del mercado, y los datos hablan por sí solos:

Específicamente.Pureza residencial IPLa cosa es que muchos agentes venden IPs de salas de servidores como IPs residenciales. Las IPs de ipipgo son de banda ancha de casas reales, y funciona especialmente bien para plataformas como Zillow que son sensibles a los tipos de IP. He tenido un cliente que no pudo obtener los gráficos de precios de la casa con otros agentes, así que los corté a nosotros y lo consiguió.

Preguntas frecuentes

P: ¿Puedo ser demandado por Zillow por utilizar una IP proxy?
R: Mientras no implique descifrar datos cifrados o participar en ataques DDos, no es ilegal limitarse a recopilar información pública. Por supuesto, tienes que cumplir las normas robots.txt del sitio web.

P: ¿Qué debo hacer si me encuentro con el 403 prohibido?
R: Tres pasos: 1. Desactivar inmediatamente el proxy actual 2. Comprobar si la cabecera de la petición tiene huellas del navegador 3. Solicitar un segmento IP de sustitución en el backend ipipgo

P: ¿Necesito trabajar con el navegador de huellas dactilares?
R: Si se trata de una recogida a gran escala a largo plazo, se recomienda trabajar con navegador anti-asociación. Para pequeña escala, puedes tratarla con requests+random UA.

Trucos antibloqueo

Por último, voy a compartir un comodín: mantener el período de recogida enDe 10.00 a 16.00 horas en las ciudades objetivoPor ejemplo, si quieres coger listados de Los Ángeles, no utilices la hora de Pekín durante el día. Por ejemplo, si quieres captar listados de Los Ángeles, no hagas un barrido diurno con BST, allí es de madrugada. Utiliza los proxies específicos de cada ciudad de ipipgo + la coincidencia de zonas horarias para disfrazar las solicitudes de forma más parecida a la gente real.

Otro truco consiste en añadir la cabecera de la solicitud al archivoSec-Fetch-Dest: vacíoEste parámetro es raramente utilizado por los navegadores normales, pero algunos sistemas anti-crawling pueden malinterpretarlo como una petición legítima. Sin embargo, este método puede fallar en cualquier momento, así que úselo y valórelo.