Goodreads Dataset: Colección de IPs proxy de reseñas de libros

Cuando los amantes de los libros se encuentran con la recogida de datos

Hace poco, un amigo que se dedica a recomendar listas de libros vino a quejarse, diciendo que quería coger las valoraciones de los libros en Goodreads para hacer análisis de datos, y como resultado, sólo cogió 200 datos y su IP fue bloqueada. Esto es como ir al mercado a comprar comida, acabas de coger dos coles y te echa el dueño del puesto, ¿crees que es asfixiante? En este momento tenemos que invitar a nuestro salvador - proxy IP.

¿Qué puede hacer realmente una IP proxy?

Como ejemplo sólido, digamos que quieres capturar 5.000 reseñas de libros de Cien años de soledad en Goodreads. Si utilizas tu propia IP directamente para capturarlas, el sitio reconocerá inmediatamente el tráfico anormal. Pero si usas una IP proxy, equivale a que cada visita acambiar identidadesLlama a la puerta y la seguridad del sitio no detecta nada raro.

Enseñanza práctica

He aquí una castaña en Python, digamos que queremos recoger datos sobre las valoraciones de un libro en particular. Centrémonos en.Sección Configuración del agenteOtros códigos pueden ajustarse en función de las necesidades reales:

importar peticiones
from itertools import ciclo

 Lista de proxies proporcionados por ipipgo
proxies = [
    "203.34.56.78:8000",
    "198.123.45.67:8800",
    "176.89.12.34:8080"
]
proxy_pool = ciclo(proxies)

para página en rango(1, 100): proxy_actual = siguiente(proxy_pool)
    proxy_actual = siguiente(proxy_pool)
    proxy_actual = siguiente(proxy_pool)
        response = requests.get(
            f "https://www.goodreads.com/book/reviews/12345?page={page}",
            proxies={"http": proxy_actual}, timeout=10
            tiempo de espera=10
        )
         Aquí está el código que se encarga de analizar los datos...
    except Exception as e.
        print(f "Fallo al capturar con {proxy_actual}, cambiando automáticamente a la siguiente IP")

Tenga cuidado de parecerabrir una caja ciegaEl mismo IP de conmutación aleatoria, no coger una IP agarre duro. proxy dinámico residencial de ipipgo es particularmente bueno, cada solicitud puede obtener una IP fresca, más estable que con una IP fija.

Directrices sobre desminado de problemas comunes

P: ¿Por qué sigue bloqueado después de usar un proxy?
R: El 80% de la calidad de la IP no es buena, muchos agentes libres en el mercado son un millón de personas que montan la IP sucia. sugerir el uso de ipipgo.Servicios exclusivos de agenciaGarantizar la limpieza e higiene del PI

P: ¿Con qué rapidez puedo cobrar?
R: Esto depende del paquete del agente, el paquete enterprise de ipipgo soporta20 solicitudes por segundo. Pero tenga cuidado de establecer intervalos razonables, demasiado rápido es fácil ser anti-crawler de orientación

La puerta para elegir los servicios de una agencia

Tienes que fijarte en tres cosas para elegir un servicio de IP proxy:
1. Tamaño del pool IP (ipipgo has)90 millones +(recursos dinámicos)
2. Tasa de éxito (interfaz API ipipgo probada)99.2%(Disponible)
3. Velocidad de respuesta (media)800ms(datos devueltos dentro)

Para terminar, la recopilación de datos es como pescar, y la IP proxy es tu caña de pescar. Utiliza artes de pesca profesionales como ipipgo para pescar el gran pez de Goodreads de forma constante. No intentes ser tacaño y usar cañas de mala calidad, entonces perderás mucho dinero si no pescas nada y ¡te mojarás los pantalones!