Yad2 Crawler: recopilación de datos sobre la propiedad en Israel

Manos a la obra con el proxy IP para captar los datos de propiedad de Yad2

Recientemente, muchos amigos que realizan análisis inmobiliarios en el extranjero han estado preguntando cómo capturar los datos de Yad2, la mayor plataforma inmobiliaria de Israel, de forma estable. Hoy, vamos a hablar de algunos reales, enseñarle cómo utilizar una IP proxy para evitar anti-escalada, y obtener los datos sin problemas.

¿Por qué tengo que utilizar una IP proxy?

Yad2 tiene una función que es muy sensible a la frecuencia de las visitas. El año pasado, un colega utilizó su propia IP para capturar datos durante tres días seguidos, y el resultado fue directamenteLleva cerrado un mes entero.Lo más importante es que van a limitar el contenido de la pantalla de acuerdo a la dirección IP. Lo que es más problemático es que también limitan el contenido de la pantalla de acuerdo a la dirección IP, si no se utiliza la dirección IP local, algunas de las palabras clave no se mostrará a usted en absoluto.

Es entonces cuandoAgente residencial para ipipgoLa empresa tiene 3000+ recursos IP locales en Israel. Su familia tiene 3000+ recursos IP locales en Israel, la prueba real cada IP se puede utilizar durante 5-7 horas sin volcar. Lo más crítico es que estas IPs son de banda ancha doméstica real, más de un grado más fiable que la IP de la sala de servidores.

Tres pasos para una configuración real

He aquí un ejemplo de cómo desplegar rápidamente un agente en Python:

solicitudes de importación

 Información proxy de ipipgo
proxy = {
    'http': 'http://用户名:密码@il.ipipgo.com:9020',
    https': 'http://用户名:密码@il.ipipgo.com:9020'
}

 Cabeceras de solicitud con UA aleatorio
cabeceras = {
    User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124'
}

resp = requests.get('https://www.yad2.co.il/realestate/rent',
                   proxies=proxy,
                   headers=cabeceras, timeout=15)
                   timeout=15)

prestar atención aCambio aleatorio de UA para cada solicitudNo utilice esas bibliotecas de UA de mierda. Se recomienda preparar usted mismo 20-30 navegadores comunes UA rotación.

Solución de problemas para evitar la detección

He aquí algunas experiencias reales para compartir:

Centrándose en el control de la frecuencia, se recomienda queNo más de 3 solicitudes por minuto desde una única IPLa API de ipipgo soporta el cambio automático de IP, y se recomienda configurar la IP para que se cambie cada 50 peticiones, para que sea estable y no un desperdicio de recursos.

Preguntas frecuentes

P: ¿Es correcto utilizar un proxy gratuito?
R: ¡Nunca! He probado una decena de proxies gratuitos, pero o son lentos o tienen poco tiempo de supervivencia. Una vez con una IP libre para capturar datos, los resultados se devuelven a los datos falsos, blanco tirar una noche.

P: ¿Cuántas IP se necesitan para ser suficientes?
R: Según 8 horas al día, 50-80 IPs de calidad son suficientes. El paquete de ipipgo tiene un "Paquete exclusivo para Oriente Medio", que es la forma más rentable de capturar Yad2.

P: ¿Qué debo hacer si encuentro un CAPTCHA?
R: Dos opciones: en la plataforma de codificación (coste elevado) o en elAgentes inteligentes para ipipgoTienen algunos segmentos IP que vienen con capacidad CAPTCHA.

Cómo elegir los servicios de una agencia

Hay que fijarse en algunos indicadores concretos para elegir un servicio de agencia:

• Tiempo de supervivencia IP > 4 horas
• Coste IP único < 0,3 $/hora
• Disponibilidad de grupos de IP dedicados a nivel nacional/urbano

Esto es algo que ipipgo hace realmente bien, especialmente con suSupervisión en tiempo real de la disponibilidad de IPHace poco me enteré de que también tienen un servicio de "Apertura rápida en países fríos", que puede abrir el canal exclusivo en 2 horas para zonas tan especializadas como Israel.

最后提醒下，抓数据讲究个细水长流。别图快，设置好随机（1-3秒），配合优质代理，才能长期稳定获取数据。有次偷懒没设，结果一晚上被封了20多个IP，血亏…