Microblog Crawler Proxy Pool: Solución de creación de grupos proxy de recopilación de datos de microblogs

El mayor quebradero de cabeza de los rastreadores de microblogging: ¿qué hacer con el bloqueo de IP?

El hierro viejo que participan en la recopilación de datos de microblogging saber que el más aplastante es sólo correr hasta ser bloqueado IP. como ir al supermercado a comprar bocadillos, acaba de tomar dos paquetes de patatas fritas en los guardias de seguridad no se les permitirá entrar. Este es el momento de aprender"Cambio de armadura"El Proxy IP Pool es su arsenal de cien chalecos diferentes.

Los proxy pools no son casuales. Hay que ser inteligente.

Mucha gente piensa que el proxy IP es comprar un montón de azar se puede utilizar en la línea, los resultados encontraron que algunos IP incluso microblogging página de inicio de sesión no se puede abrir. Aquí para enseñarle tres deben ver los indicadores:

Es importante dar nombres aquí.Paquete residencial estático de ipipgoLo he probado, y puede disfrazarse de forma estable como un usuario real en diferentes provincias del país, y es más barato que comprar té con leche a 35 dólares por una IP para todo un mes.

Te enseñamos a construir un proxy pool a mano

Empecemos por el principio básico:Reciclaje + eliminación automática. Es como comer sushi rotativo, donde las IP frescas se reponen constantemente y las que fallan se eliminan de inmediato. He aquí un ejemplo de Python:

importar peticiones
 Obtener el último grupo de IPs de ipipgo
def get_ips():
    api_url = "https://api.ipipgo.com/fetch?type=static"
    resp = requests.get(api_url).json()
    return [f"{ip}:{port}" for ip in resp['data']]

 Comprueba si hay una IP disponible
def comprobar_ip(proxy):
    try.
        test_url = "https://weibo.com"
        resp = requests.get(test_url, proxies={'http':proxy}, timeout=5)
        return True if 'tweet' in resp.text else False
    else False
        return False

Tenga cuidado de ajustar elTiempo de sueño aleatoriono dejes que Twitter piense que eres un robot que no duerme las 24 horas del día. Sugiere añadir un retardo random.uniform(1,3) después de cada petición.

Mantenimiento de grupos de proxy para operaciones de trolling

No pienses nunca que has terminado después de construir, aquí tienes dos consejos que te salvarán la vida:

1. Cambio automático de sangre a las 3 de la madrugada: Utilice crontab para actualizar la IP de 30% en las primeras horas de cada día, el control del viento de microblogging es relativamente laxa en este momento del día.

2. Sistema de puntuación de la calidad de la PIRegistre el número de aciertos, la tasa de respuesta para cada PI, y priorice el uso de aquellos con puntuaciones altas, así:

puntuación_ip = {
    122.96.1.1:8080': {'éxito':18, 'velocidad':1.2},
    183.207.1.2:80': {'éxito':3, 'velocidad':4.5}
}

Una sesión de GC imprescindible para principiantes

P: ¿Cuántas IPs deberían ser suficientes para el proxy pool?
R: La colección ordinaria de 200-300 IP dinámicas es suficiente, si usted hace el monitoreo de la opinión pública y tal operación de alta frecuencia, se recomienda ir en el paquete empresarial de ipipgo, que soporta duplicar el número de concurrencia.

Q：¿Cómo lidiar con IP bloqueada urgentemente?
R: Inmediatamente hacer tres cosas: 1. desactivar la IP 2. comprobar la frecuencia de las solicitudes 3. cambiar de IP en diferentes áreas geográficas. recomendado en el código para añadir un mecanismo automático de fusión, 3 fallos consecutivos para activar la alarma.

P: ¿Elegir IP dinámica o estática?
R: recopilación a corto plazo con dinámica (7,67 $/GB), seguimiento a largo plazo con estática (35 $/IP). Hay una operación chabacana para mezclarlo todo: utilizar IP dinámica para la recogida de datos e IP estática para el mantenimiento del estado de inicio de sesión.

Un poco de orientación real para evitar las trampas

Por último, le recordamos, no compre esas IP basura barata que se venden por libras. antes de ver a alguien con 0,5 yuanes / GB proxy, el resultado de 40% IP incluso Baidu no puede abrir. ipipipgo tiene una función oculta - - ipipipgo tiene una función oculta - - ipipipgo tiene una función oculta - - ipipipgo tiene una función oculta.Facturación por solicitudespecialmente para los principiantes que no están seguros de cuánto utilizar, no está de más utilizar tanto como sea necesario.

Si te enfrentas a una estrategia antitrepa especialmente complicada, puedes pedírsela a su técnico.Soluciones a medidaHe estado trabajando en un proyecto donde necesitamos cambiar IPs y UAs al mismo tiempo. La última vez que tuvimos un proyecto que necesitaba cambiar de IP y UA al mismo tiempo, nos hicieron una solución de auto-asociación, que nos ahorró medio mes de tiempo en comparación con tirarlo nosotros mismos.