Curl add custom Header crawl case

Enseñanza práctica del uso de curl plus Header anti-blocking crawl data

Recientemente, algunos de hierro viejo me preguntó, con datos de rastreo curl de edad por el sitio bloqueado IP ¿cómo hacer? Hoy vamos a fastidiar sobre esto. Centrarse en un truco difícil -.Cabecera personalizada + IP proxyCombinaciones de eficacia probada.

En primer lugar, un caso real: una plataforma de comercio electrónico de seguimiento de precios de secuencia de comandos, con curl ordinaria solicitud de menos de media hora para ser ban. más tarde a la cabecera de la solicitud con las características del navegador, y con el proxy dinámico de ipipgo piscina, corriendo durante tres días están bien. Así es como funciona.

La postura correcta de curl plus Header

Empecemos con una escena típica de vuelco:

rizo https://目标网站.com

Con este tipo de petición tan básica, el servidor sabe de un vistazo que se trata de un bot haciendo algo. Tenemos quePonte un chaleco rizado.::

curl -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
-H "Accept-Language: zh-CN,zh;q=0.9"
-H "Referer: https://www.google.com/"
https://目标网站.com

Fíjese en los tres encabezamientos clave:

La forma correcta de abrir una IP proxy

No basta con cambiar la cabecera, hay que trabajar con una IP proxy para poderinvisibilidad totalLo primero es utilizar el servicio de ipipgo. Aquí recomendamos usar los servicios de ipipgo, que tiene un paquete especial anti-bloqueo. Ver uso específico:

curl -x http://用户名:密码@proxy.ipipgo.com:端口号
-H "User-Agent: Mozilla/5.0..."
https://目标网站.com

Cuidado con estos dos baches:

1. No utilices proxies gratuitos, 99% son todos pools de IP públicas, ¡hace tiempo que el sitio lo desconectó!
2. Los proxies residenciales son más insidiosos que los proxies de salas de servidores, y los de ipipgoIP residencial dinámicaMayor porcentaje de éxito de los paquetes

Guía práctica para evitar el pozo

La prohibición más extraña que he encontrado nunca: ¡un sitio que realmente detecta parámetros de representación de fuentes en las cookies! He aquí algunas acciones de mal gusto para compartir:

• Sustituya periódicamente las cabeceras delAccept-Encodingestar de servicio
• Insertar aleatoriamente campos sin sentido pero legales en la cabecera de la petición, como por ejemploX-Requested-With: XMLHttpRequest
• Con ipipgo.suspensión de la sesiónFunciones para mantener una frecuencia de acceso razonable para el mismo IP

Preguntas frecuentes QA

P: ¿Qué debo hacer si sigo bloqueado después de añadir Header?
R: Compruebe si falta el campo Cache-Control, se recomienda añadirlo.Cache-Control: max-age=0Simulación del comportamiento del navegador

P: ¿Cómo resolver el problema de la lentitud de la velocidad IP del proxy?
R: ipipgo'sEnrutamiento inteligenteselecciona automáticamente el nodo más rápido, o puede seguir el comando curl con-m 30Ajuste del tiempo de espera

P: ¿Y si tengo que tratar con cookies?
R: Empieza con el rizo-c cookie.txtpara guardar la cookie y traerla con peticiones posteriores-b cookie.txt

El programa definitivo para preservar la vida

Por último una plantilla universal, recuerda sustituirla por tu cuenta ipipgo:

curl -x http://vipuser:123456@proxy.ipipgo.com:8899
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
-H "Accept: text/html,application/xhtml+xml" -H "Accept-Encoding: text/html,application/xhtml+xml"
-H "Accept-Encoding: gzip, deflate, br"
--comprimido
https://目标网站.com

Esta plantilla tiene tres diseños clave:

1. Utilizando elCanal Agente Empresa
2. Emula todas las funciones del navegador
3. Activa la transmisión comprimida para ahorrar tráfico

Si encuentra un sitio web especialmente difícil, puede ponerse en contacto con el servicio de asistencia técnica de ipipgo para personalizarlo.Programa antitrepa específicosus ingenieros se han enfrentado a todo tipo de tácticas enfermizas contra la escalada, como lo que la autenticación de huellas dactilares TLS, la detección de huellas dactilares del navegador puede manejar.