Rastreando los comentarios de Instagram: los agentes residenciales obtienen datos de IG

Así es como juegan los controladores de datos más antiguos.

Hace poco, varios colegas que se dedican al marketing transfronterizo se me acercaron para quejarse de que intentaban rastrear la sección de comentarios de Instagram en busca de opiniones de los usuarios, pero sus cuentas se bloqueaban a cada paso. La semana pasada, un amigo mío que trabaja para una marca de moda recibió un correo electrónico de advertencia de IG justo después de rastrear 200 comentarios. En realidad hay unprácticas deshonestas-Utilizar a los agentes residenciales como tapadera para jugar al "juego del gato y el ratón" con la plataforma.

¿Por qué tiene que ser un agente residencial?

A decir verdad, hay tres tipos de agentes en el mercado:

El sistema de control del viento de IG es tan inteligente que el segmento IP de la sala de servidores hace tiempo que está marcado como lista negra. Tomemos nuestro propio agente residencial de ipipgo, detrás de cada IP hay una banda ancha doméstica real, rastrear los datos es como si un usuario normal pasara un teléfono móvil, el sistema no puede saber si se trata de una persona real o de una máquina.

Sin duda, puedes construir un sistema falso.

A continuación se ofrece un ejemplo en Python, señalando tres puntos clave:

importar peticiones
from random import randint

 Configuración de proxy para ipipgo (enfoque aquí)
proxy = {
    "http": "http://user:pass@gateway.ipipgo.com:9020",
    "https": "http://user:pass@gateway.ipipgo.com:9020"
}

headers = {
    "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 15_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148"
}

 Petición aleatoria cada 5-15 segundos
para comment_id en target_list.
    response = requests.get(
        f "https://www.instagram.com/comments/{comment_id}/",
        proxies=proxy,
        cabeceras=cabeceras
    )
    time.sleep(randint(5,15)) ¡Este tiempo de espera es importante!

Observe que en el códigoTiempo de espera aleatorioresponder cantandoUA móvilLos dos pueden ser perfectamente camuflados con proxies residenciales. Anteriormente, un cliente no añadió espera al azar, los resultados de la utilización del proxy como de costumbre fue bloqueado, se trata de los detalles no están en su lugar.

Guía para evitar el pozo (resumen de las lecciones aprendidas con sangre y lágrimas)

1. Nunca utilices un agente libre.El año pasado hubo un equipo de monitorización de datos que utilizaba IPs libres para conseguir datos baratos, y los datos que subieron fueron 80% de spam.
2. La reserva de IP debe ser lo suficientemente profundaSe recomienda elegir una empresa como ipipgo que ofreceDecenas de millones de IPproveedores de servicios, un máximo de 2 horas al día para una sola IP
3. Observe el tipo de protocolo¡IG está comprobando ahora el protocolo socks5 estrictamente, se recomienda utilizar el protocolo HTTP es más estable!

Seguro que te lo estás preguntando.

P: ¿Cuántos bares puedo subir en un día sin bloquearme?
R: La prueba real con la estrategia de rotación de ipipgo, una sola cuenta dentro de 5.000 entradas por día es tan estable como un perro viejo. Hay un cliente que hace el seguimiento de la opinión pública, confiando en 20 cuentas de sondeo, recogiendo 100.000 datos por día

P: ¿Qué debo hacer si encuentro un CAPTCHA?
R: El propio proxy residencial puede reducir la tasa de activación de CAPTCHA. ¡Si realmente se encuentra con él, se recomienda hacer una pausa de 30 minutos, cambiar la IP de la ciudad y vuelva a intentarlo. ipipgo fondo puede especificar la IP regional, esta función es muy útil!

P: ¿Y si no puedo capturar todos los datos?
R: El 80% de ellas están limitadas por la velocidad, añada una cabecera de petición al archivo"Accept-Language: en-US"Pruébelo. La última vez que un cliente añadió este parámetro, ¡la eficacia de la recogida se duplicó directamente!

Seamos realistas.

El agua del servicio de proxy es muy profunda, algunos empresarios venden la sala de servidores proxy como residencial. Te voy a enseñar unaun método de control de autenticidadCompruebe el número ASN de la IP. Los ASN de los agentes residenciales se atribuyen a los operadores de telecomunicaciones, mientras que el número del centro de datos se muestra en el caso de los agentes de la sala de servidores. Como el fondo de ipipgo muestra directamente la información ASN, esto es más fiable.

Por último, me gustaría recordarte que aunque los proxies residenciales pueden reducir el riesgo, la frecuencia de cobro debe seguir siendo controlada. Después de todo, IG no es vegetariano, no colapsar sus servidores. Recomendaciones condicionales para la recogida distribuida, múltiples cuentas + combinación de IP multiregión, que es la solución a largo plazo.