Herramienta de captura de valoraciones G2: API de captura de valoraciones SaaS

¿Cómo funciona realmente la herramienta de captura de comentarios G2? Manos a la obra con IPs proxy para trastear con los datos

hierro viejo hacer estudios de mercado, debe haber encontrado con esta situación: desea capturar por lotes G2 calificaciones de los productos de la plataforma, los resultados acaba de subir unos pocos datos sobre la IP bloqueada. esta vez sobre la necesidad de proxy IP como un "manto de invisibilidad", hoy hablamos de cómo utilizar el servicio de proxy de ipipgo para hacer frente a este problema en la lengua vernácula.

¿Por qué tu rastreador siempre es arrastrado por G2?

Muchos novatos tienden a cometer dos errores fatales:utilizar la dirección IP del propio ordenador para un ataque de fuerza brutaresponder cantandoSolicitud de frecuencia fijaG2 mecanismo anti-escalada no es vegetariana, encontró que la misma IP de acceso de alta frecuencia, minutos a su lista negra. El año pasado, un amigo SaaS escribió su propio script para capturar datos, y como resultado, la IP de la red de la empresa fue bloqueada de forma permanente, e incluso el acceso normal es un problema.

 Demostración de errores (¡No aprenda!)
importar peticiones
for página in rango(1,100):
    response = requests.get(f "https://www.g2.com/products?page={page}")
     Te bloquearán la IP enseguida...

La forma correcta de abrir una IP proxy

Aquí es donde tenemos que sacar nuestro regalo del cielo, ipipgo, que tiene tres grandes proxies residenciales dinámicos:

Concéntrese en los consejos de configuración:Corte aleatorio de proxy por solicitud + simular intervalos humanos reales. Se recomienda establecer un retardo aleatorio de 3-7 segundos, para que la plataforma no vea un patrón.

 Ejemplo de postura correcta
importar peticiones
from ipipgo import get_proxy SDK de ipipgo
import tiempo
import aleatorio

for página in rango(1, 10): proxy = get_proxy(tipo='residencial')
    proxy = get_proxy(type='residential') Obtener proxy residencial
    prueba.
        response = requests.get(
            url=f "https://www.g2.com/products?page={page}",
            proxies={"http": proxy, "https": proxy},
            timeout=10
        )
        print(f "¡Los datos de la página {page} se han obtenido correctamente!")
        time.sleep(random.uniform(3, 7)) random wait
    except Exception as e.
        print(f "Problema encontrado: {str(e)}")
        ipipgo.report_failure(proxy) reportar IPs fallidas

Guía práctica para evitar el pozo

Recientemente, los comentarios de un usuario que el uso de un proxy sigue bloqueado, la solución de problemas encontró tres problemas comunes:

1. La información de la cabecera no se disfraza.Recuerda añadir User-Agent, ¡no el predeterminado de Python!
2. El número de concurrencia es demasiado alto.hilo único recomendado para principiantes, añadir poco a poco una vez que se domina
3. No manejé el CAPTCHA.: Cuando se encuentra con una página de validación para pausar la colección, la API de ipipgo soporta fusiones automáticas

La garantía de calidad por la que todo el mundo pregunta

P: ¿Es ilegal recopilar datos del G2?
R: Es legal recopilar valoraciones públicas siempre que no impliquen datos privados de los usuarios. Pero ten cuidado de cumplir las normas robots.txt de la plataforma

P: ¿Cuál de los paquetes de ipipgo es el mejor?
A: Selección individual del usuario"Versión Ching Chung"(5GB/mes de tráfico), usuarios empresariales directamente en el"La Roca".Con una pasarela API dedicada y un mecanismo de reintento de fallos.

P: ¿Funcionan los proxies gratuitos?
R: ¡Nunca! Esos proxys abiertos han sido etiquetados por G2 durante mucho tiempo, ¡usar proxys gratuitos es como pegarse un tiro en el pie!

La última frase persistente: la recopilación de datos es una guerra prolongada, elegir el proveedor de servicios de proxy derecho será la mitad de éxito. ipipgo recientemente actualizado el sistema de limpieza de la piscina IP, el registro de nuevos usuarios también enviar 1G flujo de prueba, hay una necesidad de que el hierro viejo puede desear probar.