Descarga de conjuntos de datos bursátiles CSV: Paquetes de datos históricos del mercado

¿Por qué siempre te quedas con las descargas de datos de stock?

Recientemente, Lao Zhang quería conseguir algunos datos históricos de acciones de EE.UU. para hacer el análisis, los resultados encontraron que muchos sitios bajo un archivo csv es más difícil que el cielo. Si no se limita el número de descargas o directamente bloquear la IP, lo que es aún más molesto es que algunas plataformas ver la IP doméstica directamente bloqueado. En este momento si hay una herramienta fiable de IP proxy a mano, es realmente una bendición disfrazada.

¿Cómo pueden ayudarle las IP proxy a colarse a través de las puertas de datos?

Como castaña, supongamos que desea descargar diez años de datos diarios de una plataforma financiera en bloque. La operación ordinaria puede llegar a la 5ª vez en la IP bloqueada. Con el servicio de IP proxy de ipipgo, cada solicitud de una IP de exportación diferente, el sitio no puede decir si la persona real o máquina en la operación. La operación específica es así:

importar peticiones
de ipipgo import RotatingProxy

proxy = RotatingProxy(api_key='su clave')
url = 'https://xxx.com/historical-data.csv'

para página en rango(1, 50):: {'http' = {'http')
    proxies = {'http': proxy.get_next()}
    response = requests.get(url, proxies=proxies)
     Guardar los datos localmente...

En este fragmento de código, elRotatingProxyRotará automáticamente las IPs en diferentes regiones, eludiendo perfectamente las restricciones de acceso de una sola IP. Recuerda establecer intervalos de petición razonables, no estropees sus servidores.

¿Qué hay que tener en cuenta a la hora de elegir una IP proxy?

Especial atención a algunos agentes libres dicen ser de alta velocidad y estable, el uso real de la demora de miles de milisegundos es común. Antes de utilizar la prueba de nodo financiero de Hong Kong de ipipgo, la velocidad de descarga puede ser estable a 2 MB / s, más rápido que la banda ancha doméstica.

Guía de configuración que incluso un principiante puede manejar

1. Vaya al sitio web oficial de ipipgo para registrar una cuenta, los nuevos usuarios obtienen 1G de tráfico de prueba
2. Generar clave API en la consola
3. Selección de paquetes especiales para la recogida de datos financieros (con marcador ⭐)
4. Consulte la documentación para configurar los parámetros del proxy
5. Se recomienda tomar un pequeño lote de datos para probar, y luego ejecutar el volumen completo después de la estabilización.

Centrándonos en el paso 3.No elijas el paquete normal.¡! Los sitios web financieros tienen un control más estricto del viento y tienen que utilizar paquetes de IP especialmente optimizados. Algunos de mis amigos utilizaron un paquete normal para conseguir una oferta más barata, y fueron identificados en media hora.

Antiguo conductor común escena del vuelco QA

P: ¿Por qué sigues bloqueado a pesar de haber cambiado tu IP?
R: El 80% de las cookies o huellas de dispositivos no son procesadas. Se recomienda generar aleatoriamente User-Agent para cada petición con la protección de huellas digitales del navegador de ipipgo.

P: ¿Qué debo hacer si me desconecto en mitad de la descarga?
R: ipipgo soporte para la transmisión continua, en el código para agregar un mecanismo de reintento en la línea. Se recomienda establecer un máximo de 3 reintentos con un intervalo de 10 segundos.

P: ¿Qué nodo debo elegir para colocar los datos de la NYSE?
R: Se da prioridad a las líneas financieras de la costa este de Estados Unidos, y la latencia puede controlarse en 150 ms. No sea supersticioso acerca de la distancia física, algunos nodos de la costa oeste en lugar de un desvío.

¡No pise estos baches!

1. No escriba una dirección IP muerta en el código, utilice un mecanismo de rotación automática.
2. Recuerde limpiar la conexión a tiempo después de la descarga para evitar que la IP sea arrastrada a la muerte.
3. Recuerde comprobar los datos importantes para evitar descargar los archivos defectuosos.
4. La recogida a primera hora de la mañana no es necesariamente más segura, depende de la calidad del PI.
5. No seas duro cuando te encuentres con CAPTCHA, no seas reacio a ir a una plataforma de codificación.

La última frase persistente, ahora una gran cantidad de plataformas de datos están en el control inteligente del viento, sólo cambiar la IP no es suficiente para ver. Se recomienda para que coincida con el ipipgoModelo de camuflaje de tráficoPuede disfrazar su solicitud de recolección como un comportamiento normal del navegador, y está probado para eludir eficazmente la interceptación de control de viento de 90%.