Instagram Comment Grabber: API de captura de medios sociales

En primer lugar, ¿por qué tus comentarios de Instagram son siempre incopiables?

El viejo hierro dedicado a la recopilación de datos debe haber encontrado esta situación: obviamente escrito un script de rastreo en Python, en un primer momento puede capturar unos pocos cientos de comentarios, después de media hora en la punta de la"Solicitud restringida"Esto se debe a que Instagram es particularmente sensible a las características de las máquinas de acceso de alta frecuencia. Esto se debe a que Instagram es particularmente sensible a las características de acceso de alta frecuencia a la máquina, al igual que el guardián de la comunidad para recordar el número de matrícula, anomalías encontradas bloquean directamente IP.

Recientemente, un amigo que se dedica a la analítica de Netflix se quejó conmigo de que su equipo tenía más de 20 direcciones IP bloqueadas seguidas. Entonces intentó añadir un retardo aleatorio en el código, y descubrió que la eficiencia de recopilación era ridículamente baja: solo se capturaban 50 datos en 1 hora, lo cual no es suficiente...".

En segundo lugar, proxy IP ¿cómo utilizar como un "camuflaje"?

En pocas palabras, la IP proxy es como llevar una capa dinámica para el rastreador. Utilizamos el servicio de proxy residencial de ipipgo para probar, la misma máquina para cambiar entre diferentes solicitudes de IP, la tasa de éxito puede dispararse de 15% a 92%. operación específica:

importar peticiones
from itertools import ciclo

lista_proxy = [
    
    'http://user:pass@gateway.ipipgo.io:8002'.
     Añade más nodos proxy ipipgo aquí
]
proxy_pool = cycle(proxy_list)

def get_comments(post_id).
    proxy = next(proxy_pool)
    try.
        response = requests.get(
            f'https://www.instagram.com/p/{post_id}/comentarios/',
            proxies={"http": proxy, "https": proxy},
            timeout=10
        )
        return response.json()
    except Exception as e.
        print(f "Fallo de solicitud con {proxy}: {str(e)}")

Tenga cuidado de ponerusuario:passCambie a su propia información de autenticación generada en el fondo ipipgo. Se recomienda cambiar automáticamente de IP cada vez que captura 10-15 comentarios, por lo que no es fácil de disparar el control del viento, sino también para asegurar la velocidad de recolección.

En tercer lugar, los tres principales guía para evitar las trampas de la elección de un proxy IP

Los proveedores de servicios proxy del mercado son muy variados. Basándonos en nuestra experiencia probando más de 30 servicios, hemos resumido esta tabla comparativa:

Aquí está el truco.Tipo de dispositivo realEste parámetro. Instagram detecta el número ASN (equivalente a un identificador de red) del dispositivo solicitante. los ASN de las IP de la sala de servidores son públicos. se necesita una IP de banda ancha doméstica con ipipgo para hacerse pasar por un usuario real.

IV. Técnicas prácticas de adquisición (con manual de eliminación de errores)

Muchos detalles que los tutoriales no te cuentan:

1. Recuerde borrar la caché de Cookies de su navegador después de cada cambio de IP.
2. No utilice un User-Agent fijo, prepare más de 20 UA móviles de rotación
3. La hora de rastreo se recomienda elegir la hora activa de la cuenta de destino (por ejemplo, de 8 a 11 de la noche).
4. No te resistas cuando encuentres el CAPTCHA, haz una pausa de 15 minutos y cambia a una nueva dirección IP.

He aquí un caso real: una agencia de MCN utilizó nuestro método con la IP residencial dinámica de ipipgo para recopilar con éxito 1,8 millones de datos de comentarios en un solo día, y la tasa de supervivencia de la IP se mantuvo por encima de 87%.

V. Preguntas frecuentes QA

P: ¿Por qué no puedo captar los datos aunque utilice un proxy?
R: Comprueba tres cosas: ① si el proxy está configurado con autenticación de usuario ② si el puesto de destino tiene permisos de privacidad configurados ③ si la cabecera de la petición lleva los parámetros X-IG necesarios.

P: ¿Cómo puedo aumentar la velocidad de recogida?
R: Se recomienda utilizar el modo de petición asíncrona + multihilo, pero hay que tener cuidado de que el número de hilos no supere 1/3 del número total de IPs del proxy. Por ejemplo, si hay 30 IPs, es más seguro abrir 10 hilos.

P: ¿Qué debo hacer si mi IP proxy falla de repente?
R: Contacte con el soporte técnico de ipipgo inmediatamente, ellos tienen un servicio especial - reemplazo de segundos IP anómalos, el fondo repondrá automáticamente nuevas IP a su pool de proxy.

Por último, dijo un conocimiento frío: Instagram comentario interfaz de hecho hay dos versiones, la versión antigua de api/v1/easy para ser bloqueado, se recomienda ir a la nueva versión de la interfaz graphql, los parámetros específicos se pueden establecer para buscar el servicio técnico al cliente de ipipgo a código de muestra, sus servicios técnicos es comprar un agente para enviar de forma gratuita.