Conjunto de datos de reseñas de clientes de Amazon: datos de reseñas de productos

¿Dolor de cabeza con los datos de comercio electrónico? Pruebe este comodín

¿Los comerciantes de Amazon han estado preocupados recientemente: cómo cavar la mina de oro de los comentarios de los clientes? Las restricciones de la interfaz oficial, por no hablar de la subida directa y fácil de ser bloqueado. El año pasado, ayudé a mi amigo para hacer la optimización de la tienda y encontró unmétodo local-Utilizó IPs proxy con herramientas de automatización y congeló las más de 3000 malas críticas de la competencia.

Recogida de datos tres grandes escollos, siempre hay un escollo para ti

1. Bloqueo de IPEl servicio: Amazon es como un control de alcoholemia para las IP a las que se accede con frecuencia, que atrapa a una y bloquea a la otra.
2. Infierno Captcha: La aparición repentina de CAPTCHA interrumpe el proceso de adquisición
3. Mutilación de datos: Los comentarios no se muestran completos en algunas zonas

 Por ejemplo, el código de rastreo común
importar peticiones
url = 'Enlace de producto Amazon'
response = requests.get(url) Esto hará que te baneen al día siguiente.

Cómo elegir una IP proxy para no pagar el impuesto IQ

Hay una gran variedad de servicios de agencia en el mercado y es aconsejable centrarse en estos tres puntos:

Mención especial para ipipgo.Conmutación inteligenteLa función, que puede cambiar automáticamente la cabecera IP+UA, no da muchos más problemas que el funcionamiento manual. La última vez que recogí comentarios de una emisora alemana, pasé 8 horas en modo automático sin interrupción.

Le enseñará a construir un sistema de recogida a mano

1. Contrate una cuenta ipipgo para recibir 500M de tráfico de prueba.
2. Generar clave API en segundo plano
3. Modificar el código del crawler:

solicitudes de importación

proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:端口',
    https: http://用户名:密码@gateway.ipipgo.com:端口
}

 Recuerda añadir retardos aleatorios y simular el desplazamiento del ratón
response = requests.get(url, proxies=proxies, timeout=10)

Preguntas frecuentes QA

P: ¿Cómo puedo romperlo si me siguen pidiendo que lo verifique?
R: dos formas: ① reducir la frecuencia de recogida ② utilizar el elevado alijo de IPs residenciales de ipipgo.

P: ¿Qué debo hacer si me desconecto a mitad de la adquisición?
R: añadir un mecanismo de reintento en el código, ipipgo backend se puede configurar para cambiar automáticamente los nodos.

P: ¿Y si tengo que recoger comentarios de varios países?
R: Seleccione el nodo global de ipipgo, recuerde añadir el parámetro de idioma correspondiente en la cabecera de la petición

Diga la verdad.

La IP proxy no es la panacea, pero sí la solución más fiable en la actualidad. Recientemente, he descubierto que algunos comerciantes han empezado a utilizaradquisición distribuida: 10 crawlers + 100 IP de rotación, con la gestión del pool de tráfico de ipipgo, la media diaria puede recoger 50.000 datos que no han sido bloqueados. El costo de esta obra es un poco alto, pero adecuado para los grandes vendedores que quieren hacer un análisis en profundidad.

Por último, para recordar a los principiantes: no comprar proxy basura barata, he visto a alguien con una biblioteca libre de IP, el resultado de los datos recogidos de nuevo son todos confusos. Los proveedores de servicios confiables como ipipgo, aunque cuesta un poco de dinero, pero puede ahorrar mucho tiempo para tirar.