Amazon Product Review Dataset: Hoja de datos de revisión de productos

¿Por qué tengo que utilizar una ip proxy para los datos de reseñas de Amazon?

Hacer amigos de comercio electrónico saben, quieren analizar los competidores tienen que mirar a la evaluación de las mercancías. Pero subir directamente los datos de Amazon, nueve veces de cada diez será bloqueado IP. el mes pasado me ayudó a un amigo para obtener una madre y el bebé productos de análisis de evaluación, IP local acaba de agarrar 200 datos, haga clic en el bloqueado, tan enojado que casi rompió el teclado.

Es entonces cuandoRotación del grupo ip proxypara romper el hielo. El principio es sencillo:Cada vez que pides un "maniquí" diferente.haciendo creer a la plataforma que se trata de un usuario diferente. Es como si vas al supermercado a probar algo y te cambias de chaqueta cada vez, el dependiente no te reconocerá como la misma persona.

importar peticiones
from ipipgo import get_proxy Aquí usamos el SDK de ipipgo.

def scrape_amazon_reviews(product_id).
    proxy = get_proxy(type='https', country='us') auto assign US residential ip
    headers = {'User-Agent': 'Mozilla/5.0'} recuerda disfrazar el navegador

    prueba.
        response = requests.get(
            f'https://www.amazon.com/product-reviews/{producto_id}',
            proxies={'https': proxy},
            cabeceras=cabeceras,
            timeout=10
        )
        return response.text
    except Exception as e.
        print(f'Error de scrape, cambio automático de ip para reintentar | mensaje de error:{str(e)}')
        return scrape_amazon_reviews(product_id) mecanismo auto retry

Los tres grandes pozos de elegir proxy ip, 90% personas han plantado

Los servicios de agente en el mercado son mixtos, he visto el caso más escandaloso: una empresa compró un paquete de agente de bajo precio, los resultados de la ip 50% están en la lista negra de Amazon. Aquí para enseñarle a evitar el pozo:

Lío de datos con ipipgo

Después de registrarte en ipipgo, céntrate en estas dos características:

1. Patrones de rotación inteligentes:¡Establecer cada 5 peticiones cambiar automáticamente de IP, con encabezado UA al azar, pro-prueba atrapar 3 horas sin ser baneado!

2. Fallo del mecanismo de reintento:Cambie automáticamente de IP para reintentar al encontrar CAPTCHA, lo que es más de 10 veces más eficiente que el procesamiento manual.

 Configuración de una política de rotación inteligente
de ipipgo import RotatingProxy

proxy_config = {
    'strategy': 'smart_rotate', modo inteligente
    requests_per_ip': 5, 5 veces por IP
    'retry_times': 3, reintentar 3 veces
    'geo_target': 'us-west' Especificar la IP del oeste de EE.UU.
}

con RotatingProxy(proxy_config) como proxy.
     El código de tu crawler...

Preguntas frecuentes QA

P: ¿Me puede demandar Amazon por usar una IP proxy?
R: Mientras no se produzcan ataques malintencionados y se sigan las reglas de robots.txt, es legal simplemente recopilar datos públicos. El acuerdo de servicio de ipipgo también prohíbe explícitamente el uso ilegal.

P: ¿Cuántas IP se necesitan para ser suficientes?
R: Para 10.000 comentarios al día, se recomienda preparar más de 500 IPs residenciales de alta calidad. El paquete business de ipipgo sólo incluye una cuota de 600 IPs al día, y también envía reposiciones automáticas para peticiones fallidas.

P: ¿Cómo rompo el CAPTCHA cuando me lo encuentro?
R: ¡No te resistas! Reduzca inmediatamente la frecuencia de las solicitudes y cambie ipipgo'sHigh Stash Residencial IPEl código es un servicio estándar que puede utilizarse junto con un servicio automatizado de codificación (tenga en cuenta que éste se adquiere por separado).

Un poco de experiencia sincera.

El año pasado, ayudé a un gran fabricante de 3C a realizar un análisis competitivo con ipipgo'sPI específicos a nivel de ciudadSe descubrió un fenómeno: a los usuarios de Los Ángeles les importa más el diseño del producto, y a los neoyorquinos, los parámetros funcionales. Este tipo de datos geográficamente diferenciados no pueden captarse con agentes ordinarios.

Un último recordatorio para los novatos:No compres un agente basura barato¡No estoy seguro de si alguna vez he tenido un problema con eso antes! Anteriormente, un amigo era codicioso para barato, y el resultado fue lanzado por el proveedor - las IPs dadas fueron todos etiquetados por Amazon, y la cuenta fue bloqueada justo después de iniciar el procedimiento, que era una pérdida.