Acceso indirecto de la PI a los datos financieros: programa de recopilación indirecta de datos financieros

I. ¿Por qué se bloquean siempre los datos financieros? Prueba este comodín

Hermanos que han participado en el rastreo de cotizaciones de bolsa entender que esos sitios web financieros son más difíciles de rastrear que las máquinas tragaperras. La semana pasada, un comercio cuantitativo amigos y yo nos quejamos, utilizando su propia banda ancha para capturar datos, acaba de ejecutar dos días IP será bloqueado a la muerte. De hecho, esta cosa es como una guerra de guerrillas, se toma una IP fija a duro justo, que le dará un minuto para tirar de la lista negra.

Esta vez usted tiene que utilizar el proxy IP para jugar cubierta, como si cada vez que sale a cambiarse de ropa. Por ejemplo, desea capturar una plataforma de comercio de materias primas, con ipipgo agente residencial dinámico, cada solicitud de un usuario real para cambiar la dirección IP, el sitio simplemente no puede decir si usted es una persona real o una máquina.

En segundo lugar, la elección del agente es como comprar comida para ver los platos debajo de la comida

Hay todo tipo de agentes en el mercado, así que trazaré una línea en la arena:

Agentes Residenciales DinámicosLa Dynamic Residential Enterprise Edition de ipipgo, más de 9 dólares por un flujo de 1G, puede rotar automáticamente el pool de IP, ¡que ir al mercado a recortar el precio de una buena oferta!

importar peticiones
from ipipgo import get_proxy asumiendo que este es su SDK

proxy = get_proxy(type='dynamic')
resp = requests.get('Un sitio web financiero', proxies={'http': proxy})

IP residencial estáticaPara el seguimiento de datos a largo plazo, como el seguimiento de una acción durante tres meses, se recomienda utilizar una IP fija de 35 $/mes, que sobrevive durante mucho tiempo y no es propensa a activar reglas anti-subida.

Tercero, mano para enseñarte a construir un sistema antibloqueo

He aquí un caso real para compartir: un equipo que realiza análisis de futuros construyó un sistema de cambio inteligente utilizando la API de ipipgo. Así es como lo interpretan:

1. Adquirir 10 nuevas IP por minuto a través de las API
2. Detección automática de disponibilidad IP (sólo para velocidades de respuesta <800ms)
3. Establecer el mecanismo de reintento de fallo, tres fallos consecutivos cambian automáticamente IP

Recuerda añadir retardos aleatorios en el código, no envíes peticiones como una ametralladora. Se recomienda hacer pausas aleatorias de entre 0,8 y 2 segundos para simular el ritmo del funcionamiento humano real.

IV. Directrices para la resolución de las preguntas más frecuentes

P: ¿Qué debo hacer si siempre me encuentro con CAPTCHA?
R: Cambie el User-Agent en la cabecera de la petición a una versión común del navegador, utilice el proxy dedicado TK de ipipgo, ¡este segmento IP tiene una gran reputación!

P: ¿Qué debo hacer si necesito capturar datos nacionales y extranjeros al mismo tiempo?
R: Su línea dedicada transfronteriza se puede enrutar automáticamente, por ejemplo, los datos de petróleo crudo de EE.UU. van al nodo de las Américas, y los datos de futuros nacionales van a los nodos locales.

P: ¿Qué puedo hacer si el retraso de los datos afecta a las decisiones comerciales?
R: Seleccione la implementación exclusiva de IP estática + servidor en la nube, la latencia medida se puede controlar en 200 ms, ¡más rápido que muchas APP de corretaje!

V. No pise estos baches

1. No compres PI barata o te demandarán.
2. Los agentes dinámicos deben borrar regularmente las cookies, de lo contrario el sitio puede ser rastreado a través de las huellas dactilares del navegador
3. Error de certificado SSL no es difícil, puede ser el protocolo proxy no está emparejado (HTTP / HTTPS debe establecerse por separado)

Al final recomiendo el servicio de ipipgo, el mejor que usa es eseEnrutamiento inteligenteFunción. Por ejemplo, si desea capturar los datos de la Bolsa de Metales de Londres, se asignará automáticamente la IP residencial local en el Reino Unido, por lo que no tiene que cambiar los nodos por sí mismo. Precio del paquete también es real, especialmente dinámico residencial versión estándar, más de 7 yuanes 1G flujo suficiente para captar decenas de miles de solicitudes, más barato que beber té con leche.

Hace poco vi que tienen uno nuevo en su página webAPI SERPLo primero que debes saber es que puedes acceder directamente a los datos del boletín financiero del buscador. Hermanos en la necesidad puede ir a echar un vistazo, pero recuerde que debe coger los datos para ser restringido, no hacer que el servidor hacia abajo.