Tutoriales de desarrollo de la herramienta Craigslist Data Scraping

Las trampas más comunes del rastreo de datos de Craigslist.

Los hermanos que han hecho rastreo web saben que Craigslist, un antiguo sitio de clasificados, es particularmente aficionado a bloquear IPs, y el mes pasado ayudé a un amigo a conseguir datos de coches usados, y utilicé mi propio servidor para conseguir más de 200 artículos, que de repente devolvieron un error 403. Es más, todo el segmento de IP de la sala de servidores estaba bloqueado, lo que me hizo ponerme en cuclillas delante del ordenador y fumarme medio paquete de cigarrillos antes de frenar.

Pruebas posteriores revelaron tres características principales de la estrategia de bloqueo de Craigslist:La velocidad de bloqueo de IP es más rápido que la entrega de alimentos por Meituan chicosyBloqueo de segmentos IPyMás indulgente con la propiedad intelectual residencialLo primero que tienes que hacer es utilizar una IP proxy. Las IPs normales de las salas de servidores básicamente no sobreviven más de media hora, por eso tienes que usar IPs proxy para cubrirte.

Elegir una IP proxy es como buscar pareja, se trata de estas tres cosas.

Hay una plétora de proveedores de proxy en el mercado, pero realmente no hay muchos que sean adecuados para el rastreo de Craigslist. Basándome en mi experiencia de rastreo, céntrate en estas tres métricas:

He aquí un alarde clave sobre las IPs residenciales dinámicas de ipipgo, suEl fondo común de IP cubre los 50 estados de NorteaméricaHe sido capaz de obtener IPs de banda ancha residenciales reales para cada solicitud, y una vez ejecuté a propósito el rastreador toda la noche, y a la mañana siguiente miré las estadísticas y vi que se habían cambiado más de 300 IPs en 8 horas, pero no estaban bloqueadas.

Enseñanza práctica de toda la herramienta de captura en directo

En Python, por ejemplo, el núcleo del código sólo consta de cinco pasos:

1. Vaya al backend de ipipgo para generar una clave API (recuerde seleccionar la IP residencial norteamericana)
2. Instale la biblioteca de peticiones:pip install solicitudes
3. Configure el middleware proxy:

solicitudes de importación

def get_proxy(): { {proxy(): {proxy(): {proxy(): {proxy()
    return {
        
        https': 'https://用户名:密码@gateway.ipipgo.com:端口'
    }

response = requests.get('https://craigslist.org', proxies=get_proxy())

4. Establecer intervalos de solicitud aleatorios (se recomiendan de 3 a 10 segundos)
5. Fake User-Agent (recuerde añadir Windows y Mac mobile UA)

No seas perezoso y sáltate el paso 4¡¡¡!!! Una vez puse el intervalo a 1 segundo y el tiempo de supervivencia de IP para ipipgo bajó directamente de 6 horas a 20 minutos. Se recomienda utilizartime.sleep(random.uniform(3,8))Esta pausa aleatoria hace que la visita parezca más la operación de una persona real.

Consejos antibloqueo resumidos por conductores veteranos

Según la experiencia de estos dos años ayudando a los clientes a capturar datos, estas tres operaciones chabacanas pueden reducir significativamente la probabilidad de ser bloqueado:

• Uso mixto de ipipgo'sIP dinámicaresponder cantandoIP estática de larga duraciónLa IP estática se utiliza para garantizar la estabilidad de los datos importantes.
• La biblioteca de UA se actualiza todos los martes por la tarde (hora de EE.UU.), momento en el que la estrategia de bloqueo de Craigslist se relaja brevemente
• No sea tan duro con CAPTCHA, acceder a una plataforma de codificación le ahorra mucho esfuerzo en comparación con construir su propio modelo de reconocimiento.

Preguntas frecuentes QA

P: ¿Por qué me siguen bloqueando aunque utilice una IP proxy?
R: El 80% de la pureza de la IP no es suficiente, se recomienda cambiar la IP residencial de ipipgo. no seas codicioso y utilizar un proxy gratuito, esas IPs han sido durante mucho tiempo Craigslist en un pequeño libro.

P: ¿Cuánto volumen de IP se necesita al día para que sea suficiente?
R: Basándonos en 50 peticiones por hora, es más seguro preparar un pool de 200 IPs/día. Los paquetes de ipipgo incluyenPaquete básico para 500 turnos diarios IPEs suficiente para proyectos pequeños y medianos.

P: ¿Es legal el "scraping" de datos?
R: Siempre y cuando no implique la privacidad del usuario, para cumplir con las reglas robots.txt estará bien. ¡Se recomienda no tocar el número de teléfono y correo electrónico esta información sensible, sólo agarrar los datos del producto público!

Por último, me gustaría decir que la captura de datos es un juego del gato y el ratón. El año pasado, he utilizado siete u ocho proveedores de servicios de proxy, la última cooperación a largo plazo o ipipgo. su servicio técnico al cliente una vez a las dos de la mañana para ayudarme a depurar el encabezado de la solicitud, este tipo de servicio en la industria es realmente raro. Recientemente, vi el sitio web oficial en el nuevo usuario para enviar las actividades de flujo 5G, quieren entrar en el hermano hoyo puede ir a woolgathering tratar.