Node JS fetch example: Ejemplo de solicitud de datos

Node.js Hands-On: Resolución de problemas de petición de datos con IPs proxy

Recientemente se encontró con un caso bastante interesante, un comercio electrónico amigos necesitan para capturar el precio de los productos de la competencia, los resultados sólo se ejecutan dos días script fue bloqueado IP. Esta situación se puede resolver fácilmente con una IP proxy, y hoy vamos a enseñar cómo utilizar fetch en Node.js con una IP proxy para lograr solicitudes de datos estables.

¿Por qué necesito una IP proxy?

Tomemos un escenario real: una plataforma restringe una única IP a 500 visitas por hora. Supongamos que lo necesita:
1. 100.000 datos recogidos al día
2. Modelización del comportamiento de los usuarios en distintas regiones
3. Evitar la activación de mecanismos antitrepa
En este punto una sola IP definitivamente no es suficiente, usar un pool de IP proxy resolverá estos problemas perfectamente.

Tres líneas de código para acceder al servicio proxy

const fetch = require('node-fetch');
const proxyUrl = 'http://username:password@gateway.ipipgo.com:8080';

async function fetchWithProxy() {
  const res = await fetch('https://target-site.com/api', {
    agente: nuevo (require('https-proxy-agente'))(proxyUrl)
  });
  return res.json();
}

El servicio proxy utilizado aquí es ipipgo, tenga cuidado de reemplazar la contraseña de su cuenta. Su servidor proxy gateway.ipipgo.com soportaHTTP/HTTPS/SOCKS5Con tres protocolos, la velocidad de conexión medida es de unos 200 ms.

Guía de configuración de parámetros focalizados

Para que las IP proxy funcionen bien, hay que prestar especial atención a estos parámetros:

Consejos para la gestión de errores

La semana pasada un usuario comentó que la IP del proxy a veces era inestable, y más tarde descubrió que no hacía un reintento de error. Se sugiere añadir esta lógica:

async function safeFetch(url, retries=3) {
  try {
    return await fetchWithProxy(url); } catch (err) {
  } catch (err) {
    if(retries > 0) {
      console.log(`Retrasando con ${retries}`); } catch (err) { if(retries > 0) { safeFetch(url, url, retries}); }
      return safeFetch(url, retries-1);
    }
    throw new Error('Solicitud fallida'); }
  }
}

Preguntas frecuentes QA

P: ¿Qué debo hacer si mi IP proxy se bloquea a menudo?
R: Se recomienda utilizar el Proxy Residencial Dinámico de ipipgo, tienen un ciclo de supervivencia IP corto y una tasa de reutilización baja, adecuados para escenarios de peticiones de alta frecuencia.

P: ¿Cómo detectar si el agente es eficaz?
R: Puedes solicitar http://ip.ipipgo.com/checkip primero, y si la dirección IP devuelta cambia significa que el proxy ha tenido éxito.

P: ¿Qué debo buscar en una aplicación empresarial?
R: Se recomienda utilizar la versión empresarial del servicio de ipipgo, soporta acceso dinámico API a la lista de proxies, viene con estadísticas de peticiones y función de alerta de tráfico.

Intercambio de experiencias para evitar escollos

El año pasado, un proyecto utilizó un proxy gratuito, lo que provocó una fuga de datos. Más tarde, cambiamos al proxy exclusivo de ipipgo, que no sólo multiplicó por 3 la velocidad, sino que también garantizó la seguridad. Su servicio técnico de atención al cliente también ayudó a optimizar la estrategia de rotación de IP, y ahora el procesamiento medio diario de 500.000 solicitudes no supone ningún problema.

Por último, me gustaría recordarle que debe cumplir las reglas de robots.txt y establecer intervalos de solicitud razonables para la recopilación de datos. Utiliza la herramienta adecuada + cumple las normas, para obtener datos de forma duradera y estable.