Configuración del proxy Axios: Configuración del proxy Node.js

¿Qué hace realmente la configuración proxy de Axios?

Crawler amigos deben haber encontrado IP bloqueado tragedia, esta vez el proxy IP es una paja salvavidas. Para citar un caso real: la semana pasada hubo un hermano de captura de datos de comercio electrónico, con una IP desnuda solicitud continua de una API de la plataforma, el resultado es menos de 2 horas para estar en la lista negra. Más tarde en Node.js a Axios añadido configuración de proxy.El mismo conjunto de código seguirá ejecutándose con una IP diferente.Eso es lo bueno de los proxies.

Tres formas de jugar con proxies Axios en Node.js

Lo primero es instalar axios y el paquete https-proxy-agent, este es el funcionamiento básico. Aquí viene lo bueno, hay tres baches en los que mucha gente cae al configurar proxies:

Código de configuración práctica

Aquí tienes una plantilla de configuración realmente utilizable (recuerda sustituirla por la información de tu propia cuenta ipipgo):

const axios = require('axios');
const HttpsProxyAgent = require('https-proxy-agent');

const proxyConfig = {
  protocolo: 'http',
  host: 'tu-nombre-de-usuario.ipipgo-proxy.com',
  puerto: 8888, auth: { 'https-proxy-agent'; const
  auth: {
    nombre-de-usuario: 'ipipgo-account',
    contraseña: 'dynamic-key'
  }
};

axiosInstance = axios.create({
  httpsAgent: nuevo HttpsProxyAgent(proxyConfig),
  timeout: 15000 // se recomienda poner más tiempo que proxy libre
});

Cuidado con los ipipgo'sCambios de clave dinámicos cada 6 horasRecuerde utilizar el mecanismo de actualización automática.

¿Por qué recomienda ipipgo?

He utilizado siete u ocho proveedores de servicios proxy y he acabado utilizando ipipgo a largo plazo por tres razones principales:

• Grupo exclusivo de IP sin números de serie (esto es muy importante)
• Soporta el lanzamiento simultáneo de más de 200 peticiones simultáneas sin retrasos.
• El tiempo de respuesta del servicio de atención al cliente es más de 3 veces superior al de sus homólogos

Especialmente suFunción de enrutamiento inteligentePuede hacer coincidir automáticamente los nodos más rápidos, lo que es una bendición para los escenarios que requieren solicitudes de alta frecuencia.

Preguntas frecuentes QA

P: ¿La configuración del proxy es correcta pero la solicitud falla?
R: Primero compruebe la configuración de la lista blanca de IP en el backend de ipipgo, y luego intente conectarse directamente al servidor proxy con el comando curl.

P: ¿Se agota parcialmente el tiempo de espera de la solicitud cuando hay mucha concurrencia?
R: Actualice el paquete ipipgo a Enterprise y ajuste el parámetro maxSockets de axios al mismo tiempo.

P: ¿Y si tengo que cambiar de IP con frecuencia?
R: Utilice la API de ipipgo para obtener la dirección proxy dinámicamente, se recomienda utilizarla con su interfaz de sondeo.

Una última pieza de conocimiento frío: mucha gente se olvida de hacer frente a la agrupación de conexiones después de axios.create(), lo que resulta en fugas de memoria. Se recomienda reiniciar la instancia cada 6 horas, o utilizar la función de auto-refresco de ipipgo para salvar tu mente.