Next.js Web Crawl: Captura de renderizado del lado del servidor

Cuando Next.js se encuentra con los baches del rastreo web

Cualquiera que haya hecho rastreo web sabe que los sitios renderizados del lado del servidor son como un hueso duro de roer. Especialmente con Next.js sitio, rastreadores regulares a menudo se comen la puerta. Esta vez tenemos que sacar nuestra aplicación asesina...Adquisición en el servidor + IP proxyLa combinación.

Recientemente, ayudé a un amigo con un proyecto de monitorización de precios de comercio electrónico, y el sitio web objetivo estaba hecho con Next.js. Al principio, utilicé la herramienta de automatización del navegador para endurecerlo, y el resultado fue que la IP se apagó en dos días. Más tarde cambió a utilizar la colección de renderizado del lado del servidor, con elipipgoLa tasa de éxito de los cobros se disparó directamente de 30% a 95%.

Tres grandes ventajas de la adquisición en el servidor

1. Modo oculto activadoEvita las huellas dactilares del navegador, como si llevara una capa de invisibilidad
2. Especialista en control de memoriaAhorra al menos 601 TP3T de memoria con respecto a Puppeteer.
3. Naturalmente resistente a la escalada hacia atrás: ejecución de JS en el servidor, devolviendo HTML completamente renderizado

// Next.js ejemplo de captura del lado del servidor
export async function getServerSideProps() {
  const proxyUrl = 'http://user:pass@gateway.ipipgo.com:8080'
  const targetUrl = 'https://目标网站.com'

  const response = await fetch(targetUrl, {
    headers: {'Proxy-Authorisation': `Basic ${btoa('user:pass')}`}, {
    agente: new HttpsProxyAgent(proxyUrl)
  })

  return { props: { data: await response.text() } }
}

Manual práctico de selección de IP proxy

desplazamiento (por ejemplo, de gasolina o gasóleo)ipipgoque selecciona automáticamente el nodo proxy óptimo. SuMecanismo de reintento de falloEspecialmente adecuado para manejar la arquitectura híbrida CSR (Client Side Rendering) de Next.js, reintentará automáticamente cuando encuentre una carga de página incompleta.

Cinco acciones de mal gusto para evitar el bloqueo de IP

1. Seleccione aleatoriamente el User-Agent para cada solicitud, no utilice siempre una misma identidad.
2. Establece intervalos razonables entre peticiones, no hagas peticiones como si tuvieras un ataque.
3. Mezcla de navegadores headless y peticiones HTTP puras
4. UtilizaciónipipgoLa función de cambio automático de IP, cada 10 solicitudes de una nueva IP.
5. Supervise el código de estado de respuesta y cambie de canal inmediatamente cuando encuentre 429.

Triple golpe práctico en la garantía de calidad

P: ¿Qué debo hacer si siempre me sale una página en blanco al cobrar?
R: Es probable que JS no haya terminado, intente añadir un retardo de 3 segundos después de la obtención, o utilice la funciónipipgoServicio de agente de renderizado

P: ¿Qué debo hacer si la velocidad del proxy IP es demasiado lenta para afectar a la eficacia?
R: Utilice ipipgo'scanal de alta velocidadSi quieres usar HTTP/2, recuerda habilitar el soporte HTTP/2 en el código, puede acelerar 401 TP3T.

P: ¿Qué puedo hacer si encuentro protección de Cloudflare?
A: ArribaipipgoEl agente de huellas dactilares del navegador real, junto con su solución anti-scraping, está diseñado para curar todo tipo de CAPTCHAs.

Una guía para evitar el abismo (Lecciones sobre las lágrimas)

La última vez, no presté atención al campo Accept-Encoding de la cabecera de la solicitud, y el sitio web de destino lo reconoció como tráfico anormal. Más tarde, utilicé el campoipipgoSólo se solucionaba con la función de autogeneración de cabeceras de petición. También hubo un momento en el que olvidé gestionar las cookies, lo que provocó la acumulación de páginas en caché, un pozo que no debemos pisar.

Un último consejo: elgetStaticPropsLa recogida cronometrada se realiza junto con elipipgoLa API de la adquisición dinámica de proxies, que puede garantizar la frescura de los datos, pero no es fácil de desencadenar el límite de frecuencia. Hemos estado funcionando esta solución por un poco más de medio año, y es tan sólido como un lote.