Proveedor de bases de datos bursátiles: fuente de datos financieros en tiempo real

Cualquiera que trabaje con datos financieros sabe que las IP proxy son un salvavidas

El compañero de comercio cuantitativo recientemente me dijo que su empresa compró una determinada interfaz de datos financieros, tres días en el bloqueo de su IP. originalmente quería conseguir algunos EE.UU. cotizaciones de acciones en tiempo real para hacer estrategias algorítmicas, los resultados de los datos no recogió abajo, el servidor de origen fue el primero en la lista negra. Esta situación es demasiado común en el círculo, especialmente aquellos que quierenAcceso de alta frecuencia a datos multimercadoLo principal es que no puedes jugar sin una IP proxy.

Ahora muchos proveedores de datos financieros en el mercado han participado en el mecanismo anti-escalada, la misma solicitud continua IP más de 20 veces de inmediato le dan línea de pellizco. El año pasado, un equipo de arbitraje cryptocurrency es aún peor, porque la IP fija para acceder a la API de intercambio, directamente como un ataque DDoS bloqueó toda la sala de servidores.

Le enseñará a utilizar el proxy IP para obtener datos.

Empecemos con un caso real, un fondo de capital privado utilizó el agente residencial de ipipgo para hacer la recopilación de datos de nivel 2 de acciones A. Participaron en una rotación de 50 IP dinámicas, cada IP sólo 200 solicitudes por hora, a fin de no ser blanco de la bolsa, sino también para asegurarse de que obtiene los últimos datos del mercado. La operación concreta se divide en tres pasos:

importar peticiones
from itertools import ciclo

proxies = ipipgo.get_proxies(type='residential', count=50) obtiene 50 IPs residenciales
proxy_pool = cycle(proxies)

def fetch_market_data().
    proxy_actual = next(proxy_pool)
    try.
        response = requests.get(
            'https://api.finance.com/realtime', current_proxies={'http': current_proxy
            proxies={'http': current_proxy, 'https': current_proxy}, timeout=10
            tiempo de espera=10
        )
        return response.json()
    excepto.
        ipipgo.report_failed(current_proxy) Marcar automáticamente las IPs fallidas

¿Qué tiene de bueno este método?IP residencial parece una operación de la vida realLa reserva de IP de ipipgo cuenta con más de 30 millones de direcciones residenciales reales, y con cada solicitud de un nuevo chaleco, el proveedor de datos no puede saber si se trata de una máquina o de una persona real que comprueba los datos.

Las reglas tácitas de la selección de agentes para veteranos financieros

No mire el proxy IP mercado de agua es muy profunda, recuerde que estos tres indicadores absolutamente no dar la vuelta:

Especialmente para la negociación de alta frecuencia, los datos con un retraso de más de 1 segundo son un desperdicio de papel. ipipgo dispone de una técnica exclusiva denominadaAceleración de la línea financiera dedicadaHe medido que la cotización del NASDAQ se puede comprimir en 200ms.

Una guía imprescindible para evitar las trampas de los principiantes

P: ¿Por qué me siguen bloqueando aunque utilice una IP proxy?
R: El noventa por ciento de la pureza IP no es suficiente, no seas codicioso barato para comprar el tipo de diez mil personas que montan la IP compartida. ipipgo proxy exclusivo cada cliente asignado individualmente segmento IP, absolutamente no y otras personas se estrellan.

P: ¿Qué ocurre si necesito capturar tanto poblaciones A como poblaciones US?
R: Recuerde votar porLlamadas mixtas de varias zonasEl servicio. Por ejemplo, si quiere captar la Bolsa de Shangai, puede utilizar la IP de la sala de servidores de Hangzhou, y si quiere captar la Bolsa de Nueva York, puede cortar al nodo de Nueva York, y el backend de ipipgo puede configurarse para que haga geo-match automáticamente.

P: ¿Cómo rompo el CAPTCHA cuando me lo encuentro?
R: Esta situación tiene que cambiar el navegador huella digital real con el uso. El agente ipipgo vinculado a un navegador específico huellas dactilares, simulando personas reales que operan pista, probado personalmente un sitio web financiero conocido sistema de control de viento.

Un juego avanzado para frikis de los datos

Lo más desesperante que he visto es usar el proxy móvil de ipipgo para coger los datos de la app del broker. Debido a que muchos brokers esconden sus datos exclusivos en la APP, la parte web no se muestra en absoluto. Accediendo a ella a través de IP móvil 4G/5G, la tasa de éxito se duplica directamente.

Y aquí está el truco.Artefactos de protocoloLo primero que tienes que hacer es disfrazar el tráfico de petición como tráfico normal de APP. ipipgo soporta protocolos duales HTTP/Socks5, y también puedes personalizar la información de la cabecera. La última vez que ayudé a un amigo a atracar el terminal Bloomberg, fue mediante este truco para mezclar a través de la revisión de tráfico.

Al final, el negocio de los datos financieros es el juego del gato y el ratón. El año pasado, había un equipo cuantitativo confiar únicamente en la optimización del programa de IP proxy, los costes de adquisición de datos para ahorrar más de 600.000 yuanes. Ahora están especialmente preparados con dos conjuntos de cuenta ipipgo, la cuenta principal con un agente residencial colección diaria, la cuenta de repuesto poner 500 IP de centro de datos, encuentro necesidades urgentes en cualquier momento en la parte superior.