Cabecera de petición cURL: Configuración del navegador de emulación de IP proxy

Manos a la obra con cURL para disfrazar las peticiones del navegador

Crawler amigos deben haber encontrado una situación de este tipo: obviamente, el código está bien escrito, el sitio de destino de repente bloqueado IP. En este momento, tenemos que invitar a los dos principales tesoros - el.IP proxyresponder cantandoenmascarado comoEs la primera vez que veo un cURL. Hoy vamos a tomar cURL como ejemplo y hablar de cómo jugar estos dos trucos.

¿Por qué preocuparse por las IP proxy?

Por ejemplo, si vas todos los días al supermercado del barrio a comprar huevos y llevas ropa roja tres días seguidos, al cuarto día el jefe te dirá simplemente: "¡La ropa roja no se vende!". Al cuarto día, el jefe dirá: "¡La ropa roja no está a la venta!". El agente IP es como cambiar de color de ropa todos los días, para que el jefe del supermercado no pueda reconocer a la misma persona.

Usar el servicio proxy de ipipgo es el equivalente a tener un armario entero de ropa para cambiarse a voluntad. Su reserva de IP dinámicas es tan profunda que pueden asignarte un chaleco nuevo con cada solicitud, lo que es mucho más estable que esos pequeños proxies de taller.

Camuflaje básico cURL

Empecemos con un código básico:

rizo https://example.com

Este tipo de petición es como salir a la calle sin ropa, el servidor la reconoce como un acceso de máquina a simple vista. Hay que disfrazarla:

curl -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, como Gecko) Chrome/91.0.4472.124 Safari/537.36"
     -H "Accept-Language: zh-CN,zh;q=0.9"
     -H "Referer: https://www.google.com/"
     https://example.com

Estas cabeceras de solicitud actúan como información de identificación, disfrazando al rastreador como un usuario normal de Internet. Atención.Usuario-AgenteOpta por una versión de navegador común, no te quedes con los modelos antiguos pasados de moda.

Poner un chaleco proxy a cURL

No basta con disfrazarla, hay que ocultar la IP real. Usar el servicio proxy de ipipgo es como tener un intermediario que te haga los recados:

curl -x http://username:password@proxy.ipipgo.cc:8080
     -H "User-Agent: Mozilla/5.0..."
     https://target-site.com

Hay que tener en cuenta tres cosas:

1. No escriba mal la dirección del proxy, el backend de usuario de ipipgo tiene una herramienta de generación ya preparada
2. Sustituye la contraseña por la tuya, no seas tonto y utiliza la del ejemplo.
3. Recuerda probar primero si el proxy está conectado, puedes usar curl para visitar ip.ipipgo.com primero para ver si la IP devuelta es correcta.

Técnicas avanzadas de camuflaje

Algunos sitios web son ladrones y comprueban más parámetros. Es entonces cuando se necesita una solución de camuflaje más completa:

El código se ve así cuando está completamente armado:

curl -x http://ipipgo_proxy
     -H "User-Agent: Mozilla/5.0..."
     -H "Accept: text/html,application/xhtml+xml..."
     -H "Accept-Encoding: gzip, deflate, br"
     -H "Connection: keep-alive" -H "Conexión: mantener activa"
     --comprimido
     https://target-site.com

Preguntas frecuentes QA

P: ¿He utilizado un proxy o me han bloqueado?
R: Compruebe dos puntos: 1. si la cabecera de la petición está completa 2. la calidad de la IP del proxy. Se recomienda utilizar ipipgo'sAgentes dinámicos de calidadSus IP son de corta duración pero de alta calidad y adecuadas para solicitudes de alta frecuencia.

P: ¿Qué debo hacer si mi agente es lento?
R: Se da prioridad a los nodos que están geográficamente cerca. La función de enrutamiento inteligente de ipipgo hace coincidir automáticamente las rutas más rápidas, lo que le ahorra mucho trabajo en comparación con la conmutación manual.

P: ¿Y si necesito una IP multirregión?
R: En el fondo de ipipgo dirección proxy para agregar parámetros regionales en la línea, tales como&region=shanghaiEspecifique el nodo de Shanghai, o&ciudad=aleatoriaCambia de ciudad al azar.

Guía para evitar el pozo

Un error común de los novatos esexagerar el fingimiento. Por ejemplo, rellenar la cabecera de la petición con varios parámetros tiene como resultado la exposición de excepciones. Recuerda los tres principios:

1. Los valores de los parámetros deben ser lógicos (por ejemplo, los UA de los teléfonos móviles no llevan información del sistema Windows)
2. Las cabeceras deben ser coherentes (por ejemplo, Accept y Content-Type deben coincidir).
3. Mantener los parámetros actualizados (actualización trimestral del número de versión del navegador)

Por último, me gustaría presentarles ipipgo.Emulación de huellas dactilares del navegadorLos parámetros de las cabeceras de petición pueden generarse automáticamente, lo que resulta mucho más sencillo que configurarlos manualmente. Especialmente para proyectos de recogida a largo plazo, se recomienda que directamente en la versión empresarial del paquete, con sustitución automática de IP y encabezados de solicitud del conjunto completo de programas.