JavaScript analiza JSON: esquema de análisis de datos proxy JS

I. ¿Por qué utilizar IP proxy para procesar datos JSON?

Hacemos la recopilación de datos a menudo se encuentran con esta situación: el sitio de destino para devolver los datos en formato JSON, pero la solicitud directa es fácil de ser bloqueado por la IP.IP proxypara encubrir, como si a la araña establecer un manto de invisibilidad. ipipgo casa piscina IP dinámica es particularmente adecuado para este escenario, cada solicitud de un cambio de armadura, el sitio simplemente no te reconocen como la misma persona.

Segundo, mano para enseñarte la configuración del agente JS

Empecemos con todo el código sólido, aquí tienes una castaña con node-fetch (ten cuidado de sustituirlo por tu propia cuenta ipipgo):

const fetch = require('node-fetch');

async function fetchWithProxy(url) {
  const proxyUrl = 'http://username:password@gateway.ipipgo.com:8080';

  try {
    const response = await fetch(url, {
      headers: {'Proxy-Authorisation': 'Basic ' + Buffer.from('username:password').toString('base64')},
      agente: new (require('https-proxy-agent'))(proxyUrl)
    });

    // ¡Aquí viene lo bueno! Así es como se comprueba si el JSON devuelto es JSON correcto.
    ¡const contentType = response.headers.get('content-type'); if (!
    if (!contentType.includes('application/json')) {
      throw new Error('¡Estos datos no son JSON!') ;
    }

    return await response.json();
  } catch (error) {
    console.log('Captura fallida:', mensaje.error); }
    // Aquí es donde el mecanismo de cambio de IP de ipipgo resulta útil.
    return fetchWithProxy(url); // auto reintento
  }
}

En tercer lugar, los conocimientos prácticos de conmutación dinámica de IP

No basta con saber utilizar un proxy, hay que aprenderCambio aleatorio de IPLa API de ipipgo proporciona acceso directo a la lista de proxy más reciente:

const proxies = await fetch('https://api.ipipgo.com/v3/proxies?type=http');
const proxyList = await proxies.json();

// Elige una IP al azar
function getRandomProxy() {
  return proxyList[Math.floor(Math.random() proxyList.length)]; }
}

Ponga este selector aleatorio en el método de solicitud anterior, cada solicitud de una nueva IP. prueba real, la tasa de supervivencia IP de ipipgo puede llegar a 92% o más, mucho más estable que el proxy libre.

IV. Baches comunes y soluciones

He aquí una lista de algunas minas comunes que pisan los novatos:

1. ¿Qué debo hacer si obtengo un error de análisis JSON?

En primer lugar, compruebe si el encabezado de respuesta realmente devuelve JSON, algunos sitios devolverán una página de error. Esto es necesario en este momento:

try {
  JSON.parse(rawData); } catch {
} catch {
  // Activar la lógica de cambio de IP
}

2. ¿Qué ocurre si el agente se da de baja repentinamente?

El proxy de ipipgo viene con un mecanismo de reintento de fallo, se recomienda establecer el intervalo de reintento de 3 veces, añadir un setTimeout en el código de la línea.

V. Tiempo de control de calidad

P: ¿El uso de una IP proxy afectará a la velocidad de resolución?
A：好代理和速度差不多，ipipgo的响应时间基本在200ms以内，比很多家快

P: ¿Tengo que mantener mi propio grupo de IP?
R: ¡No es necesario en absoluto! ipipgo actualiza automáticamente más de 8 millones de IPs cada día, ¡lo que le ahorra mucho tiempo y esfuerzo en comparación con su propio mantenimiento!

P: ¿Qué debo hacer si encuentro un CAPTCHA?
R: Este es el momento de cooperar con la rotación de IP + control de frecuencia de solicitud, el modelo de pago por volumen de ipipgo es particularmente adecuado para este escenario

VI. Recomendaciones finales del programa

Tras las pruebas, se recomienda esta combinación dorada:

ipipgo Proxy Residencial Dinámico + Puppeteer + Intervalo de Petición Inteligente

Este programa puede comer 90% sitio, especialmente contra los que utilizan AJAX para cargar datos JSON sitio, el efecto es excepcional. Recuerde añadir el parámetro proxy al iniciar Puppeteer:

const browser = await puppeteer.launch({
  args: ['--proxy-servidor=http://gateway.ipipgo.com:8080']
});

Por último, me gustaría decir una cosa: No trate de obtener un servicio de proxy barato, aunque el precio de ipipgo no es el más bajo, pero es estable. Anteriormente usaba otro agente, los resultados de parsear JSON siempre devolvían página de error HTML, una pérdida de tiempo de desarrollo.