Conjunto de datos de libros: Metadatos de publicación CSV

Cuando los conjuntos de datos de libros se encuentran con IP proxy: los escollos que debe conocer

El viejo hierro de la recopilación de datos sabe lo difícil que es conseguir un CSV completo de los metadatos de publicación. El sitio web mecanismo anti-escalada es cada vez más implacable, no se mueve para bloquear la IP. la semana pasada ayudo a los editores para hacer la recopilación de datos, acaba de agarrar 300 registros IP fue sacado negro, tan enojado que casi me caí en el teclado.

Entonces es el momento de mudarse.IP proxyEste gran asesino se ha levantado. El principio es simple:Enviar solicitudes por turnos con diferentes IPLo primero que hay que hacer es que la página web piense que la visitan usuarios normales. Pero en la práctica, algunos detalles no prestan atención al coche como de costumbre.

Práctica: uso de IP proxy para recopilar metadatos de libros

Tomemos un caso real: atrapar a un sitio de librosNúmero ISBN + título + editorial + fecha de publicaciónEstos cuatro campos. Directamente al código Python:

importar peticiones
from bs4 import BeautifulSoup

proxies = {
    'http': 'http://ipipgo-12345:password@gateway.ipipgo.com:9020',
    https: http://ipipgo-12345:password@gateway.ipipgo.com:9020
}

response = requests.get('URL de destino', proxies=proxies)
soup = BeautifulSoup(response.text, 'html.parser')
 Análisis posterior del código de campo...

Aquí tienes una.lección aprendida con sangre y lágrimas¡No utilices proxies gratuitos! He utilizado un proxy gratuito antes de ahorrarme algunos problemas, y el resultado:

¿Por qué recomienda ipipgo?

El equipo interno ha puesto a prueba a 7 proveedores de servicios de agencia del mercado y finalmente se ha quedado con las tres ventajas principales de ipipgo:

1. grupo exclusivo de IPSegmentos IP individuales para cada cuenta para evitar "choques" con otros usuarios.
2. Garantía de éxitoCompromiso de una tasa de éxito de las solicitudes del 99,5%+.
3. El protocolo admite todo elCompatibilidad total HTTP/HTTPS/Socks5

Especialmente suEnrutamiento inteligenteLa función puede seleccionar automáticamente el nodo más rápido. La última vez que se recogieron datos de libros en lengua extranjera, la velocidad de cambio de nodos es más de 3 veces superior a la manual.

Preguntas frecuentes QA

P: ¿Cuál es el ajuste de frecuencia de adquisición adecuado?
R: Se recomienda que una sola IP no supere las 15 peticiones por minuto, con la estrategia de rotación de ipipgo se pueden mencionar 30 veces por minuto

P: ¿Qué debo hacer si encuentro un CAPTCHA?
R: El alto alijo de IP de ipipgo puede reducir la probabilidad de activación de CAPTCHA, realmente se encuentra cuando se recomienda que: 1) reducir la velocidad de recolección 2) reemplazar el segmento de IP.

P: ¿Qué necesito saber sobre el almacenamiento de datos?
R: Se recomienda que el campo contengaMarca de tiempo de capturaresponder cantandoUtilización de IPDos columnas para facilitar el seguimiento de la resolución de problemas

Una última observación: recopilar datos es como librar una guerra de guerrillas.Conmutación IP flexible + control de la cadencia de solicitudesEse es el camino a seguir. Utilice un buen ipipgo este tipo de herramientas profesionales, puede ahorrar al menos 50% tiempo de plegado. Recientemente, su familia está haciendo actividades, los nuevos usuarios para enviar 10G paquete de tráfico, la necesidad de que el hierro viejo puede tratar.