Configuración del proxy Node.js: Ejemplo de configuración del proxy Axios

I. ¿Por qué se bloquea siempre tu rastreador? Prueba este truco que te salvará la vida

Los amigos que se dedican a la recopilación de datos deben haber encontrado esta situación: sólo tiene que ejecutar dos minutos del programa, el sitio de destino bloqueará su IP a la muerte. En este momento, si usted tiene a mano un grupo de IP proxy fiable, es como abrir una resurrección ilimitada colgar en el juego, y se puede cambiar inmediatamente la siguiente IP cuando está bloqueado. Aquí debe ser susceptible deipipgode los proxies exclusivos, cada IP es una IP residencial limpia y sobrevive mucho más tiempo que los proxies públicos.

En segundo lugar, el proxy Axios ajustes de la mano la enseñanza

Directamente en los productos secos, utilizando Node.js Axios biblioteca para configurar el proxy es realmente muy simple. Ten en cuenta que el nombre de usuario y la contraseña en este código tienen que ser sustituidos por los que utilizas en el archivoipipgoEl backend obtiene la información de autenticación:

const axios = require('axios');
const httpsProxyAgent = require('https-proxy-agent');

// Aquí usamos el proxy proporcionado por ipipgo
const proxy = {
  host: 'gateway.ipipgo.com',
  port: 9021, // auth: { 'https-proxy-agent'; // Aquí usamos el proxy proporcionado por ipipgo.
  auth: {
    nombre de usuario: 'Tu cuenta',
    contraseña: 'Tu clave'
  }
}

const agent = new httpsProxyAgent(`http://${proxy.auth.username}:${proxy.auth.password}@${proxy.host}:${proxy.port}`);

axios.get('https://目标网站.com/api', {
  httpsAgent: agente
})
.then(respuesta => {
  console.log('¡Llegaron los datos!') ;
})
.catch(error => {
  console.log('¡Rollover! ¡Comprueba la configuración del proxy!') ;
});

Técnicas de cambio dinámico de proxy

Siempre use el mismo proxy IP y desnuda corriendo ninguna diferencia, aquí para enseñarle cómo cambiar automáticamente la dirección IP.ipipgodel programa de acceso a la API, con una nueva IP para cada solicitud:

async function getNewProxy() {
  const res = await axios.get('https://api.ipipgo.com/get_proxy?type=json');
  return `http://${res.data.username}:${res.data.password}@${res.data.host}:${res.data.port}`; }
}

// Obtener un nuevo proxy antes de cada petición
axios.interceptors.request.use(async config => {
  const newProxy = await getNewProxy();
  config.httpsAgent = new httpsProxyAgent(newProxy);
  httpsAgent = new httpsProxyAgent(newProxy); return config.
}).

IV. Directrices para la eliminación de errores comunes

V. White debe ver el enlace QA

P: ¿Por qué recomiendan utilizar el servicio proxy de ipipgo?
R: Su familia tiene tres ejes especiales superior: ① nacional dinámica IP residencial ② cada IP disponible 6-12 horas ③ proporcionar API listo programa de acoplamiento, mucho más flexible que otro proxy estático.

P: ¿La configuración del proxy se realiza correctamente pero no se responde a la solicitud?
R: No te apresures a cambiar el código primero, usa este comando para probar si el proxy ha pasado:
curl -x http://账号:密码@gateway.ipipgo.com:9021 https://httpbin.org/ip
Si la IP devuelta no es tu IP local, significa que el proxy está funcionando.

P: ¿Cómo gestionar varios agentes al mismo tiempo?
R: Cree múltiples canales proxy en el fondo de ipipgo, y use un array de polling en el código. Recuerde configurar un mecanismo de reintento de fallo, de modo que si un canal se cuelga, se corte automáticamente al siguiente.

VI. Mejorar el juego: cómo mantener el fondo común de agentes

Te doy un consejo práctico: mezcla el pool de IPs proxy de ipipgo con IPs locales. La proporción específica es recomendada por3:7Asigna (30% IP proxy + 70% IP local), para que no sea fácil activar el control del viento, pero también para ahorrar recursos proxy. Acuérdate de comprobar regularmente la disponibilidad de las IP y de expulsar a tiempo las que fallen.