Conjunto de datos de reseñas de Amazon: datos de reseñas de productos

Cuando los rastreadores se encuentran con las reseñas de Amazon, ¿has pisado alguno de estos baches?

Hace poco, un amigo que se dedica al comercio electrónico vino a quejarse, diciendo que quería analizar los datos de la competencia, y como resultado, acababa de rastrear 200 reseñas, y su IP fue bloqueada por Amazon. Esta situación es demasiado común, y muchos novatos se plantan en el mecanismo anti-crawl. Hoy, tomaremos el escenario típico de la recolección de datos de reseñas de Amazon y hablaremos de cómo resolver el problema elegantemente con IP proxy.

¿Por qué su rastreador está siempre bloqueado?

El sistema anti rastreo de Amazon es mucho más inteligente de lo que uno podría pensar. Pongamos un caso real: un usuario con una solicitud de IP fija cada 5 segundos, parece bastante suave, ¿verdad? Como resultado, al día siguiente, se restringió directamente el acceso a la cuenta. Más tarde, descubrimos que el sistema no sólo se fija en la frecuencia de las solicitudes, sino que tambiénDetección de vías de acceso. Por ejemplo, las visitas consecutivas a mercancías similares y la concentración de operaciones en periodos de tiempo específicos pueden activar el control del viento.

IPs proxy en acción

Aquí es donde tenemos que sacar a relucir a nuestro salvador: las IP proxy dinámicas. Un buen pool de IPs debe hacer tres cosas:multirregionalyConmutación automática de frecuenciaySimulación del comportamiento real del usuario. Por ejemplo, utilice el proxy residencial de ipipgo y cambie la IP del usuario final en una región diferente para cada petición, de forma que el sistema asuma que está navegando un usuario real.

importar peticiones
from itertools import ciclo

proxy_pool = cycle(ipipgo.get_proxy_list()) Obtener pools de IP dinámicos

for page in range(1, 50): proxy = next(proxy_pool): proxy = next(ipipgo.get_proxy_list)
    proxy = siguiente(pool_proxy)
    try: response = requests.get(url)
        response = requests.get(url, proxies={"http": proxy, "https": proxy})
         Lógica de procesamiento de datos...
    except Exception as e.
        print(f "IP {proxy} falló, cambiando automáticamente a la siguiente.")

Busque estos duros indicadores a la hora de elegir un servicio de agencia

Casos prácticos de usuarios reales

Una empresa de comercio electrónico transfronterizo necesitaba capturar más de 100.000 reseñas para realizar análisis de sentimiento. Inicialmente utilizó proxies gratuitos, como resultado:

1. Activa más de 20 CAPTCHAs al día
2. Velocidad de repetición de datos hasta 35%
3. Ciclo de adquisición superior a 2 semanas

Después de cambiar a la solución personalizada de ipipgo:

• Configure reglas de encaminamiento inteligentes para eludir automáticamente las zonas de alto riesgo
• Ajuste dinámico de la política de conmutación IP en función de la tasa de solicitudes
• La recogida se completó finalmente en 5 días, con datos válidos de 98,71 TP3T

Preguntas frecuentes QA

P: ¿Cuántas IP tengo que preparar para que sean suficientes?
R: Como regla general, se recomienda preparar 50-80 IPs de calidad por cada 1000 peticiones. en el caso de los usuarios de ipipgo, suSistema de despacho inteligenteLa cantidad necesaria se calculará automáticamente.

P: ¿Qué hago si aparece un CAPTCHA?
R: Se recomienda cooperar con los servicios de codificación automatizada, prestando atención a dos puntos: 1) una sola IP no desencadena continuamente la verificación 2) la verificación de encuentro cambia inmediatamente de IP

P: ¿Es legal el "scraping" de datos?
R: cumplir con el acuerdo de robots y la normativa del sitio web, se recomienda: 1) establecer un intervalo razonable 2) no recopilar información privada 3) con fines legítimos de análisis

Guía para evitar escollos (concéntrese aquí)

Tres sugerencias prácticas finales:

1. Nunca utilice la IP de un centro de datos, Amazon puede identificar segmentos de salas de servidores
2. Utiliza un User-Agent diferente para cada solicitud, pero no utilices uno demasiado frío.
3. establecerTiempo de espera aleatorioImita los intervalos de funcionamiento reales

Si no quieres encargarte tú mismo del mantenimiento del proxy pool, utiliza la herramienta de ipipgoSoluciones de recogida de datos de AmazonSe han dirigido presets de parámetros, más que su propio paseo para ahorrar dinero. Recientemente ver el sitio web oficial hay nuevos usuarios actividades de prueba gratuita, se recomienda que la primera reunión de lana para probar el efecto.