Configuración de IP proxy Ejemplo de encabezado de solicitud cURL: Ejemplo de encabezado de solicitud IP proxy cURL

Te enseña a usar cURL para colgar la IP del proxy con facilidad

Crawlers deben entender el hierro viejo, directo desnudo sitio de solicitud de minutos para ser bloqueado IP. esta vez la necesidad de proxy IP para cubrir, hoy tomamos la herramienta cURL más común para abrir, decir cómo darle a llevar un "capa y espada".

Veamos la forma más básica de jugar: supongamos que empiezas con elipipgoTengo una IP proxy. Se ve así.123.45.67.89:8080La pose de la persona que rellena el cURL es así:

curl -x http://123.45.67.89:8080 https://目标网站.com

Esté atento a este espacio.-xEl parámetro es el controlador antiguo que especifica el proxy, http://开头说明用的是HTTP协议代理. Si el servidor proxy requiere autenticación de contraseña de cuenta, recuerde escribirlo de esta manera:

curl -x http://用户名:密码@123.45.67.89:8080 https://目标网站.com

El Gran Disfraz de Cabecera de Petición

Algunos sitios web son tan sofisticados que no basta con cambiar la dirección IP, sino que también hay que cambiar el encabezado de la solicitud. Este es el momento de-Hparámetros para hacerse un lifting:

curl -x http://123.45.67.89:8080
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0) el navegador adecuado"
-H "Accept-Language: zh-CN"
https://目标网站.com

Concéntrese en disimular estos tres mensajes de cabecera:

IP auto-rotación truco

IP única utilizada durante mucho tiempo seguirá siendo identificado, esta vez a ipipgo en elpool de agentes dinámicos. La dirección de su agente es la siguiente:pasarela.ipipgo.com:20000cambiando automáticamente de IP con cada solicitud:

curl -x http://账号:密码@gateway.ipipgo.com:20000 https://目标网站.com

Preste atención al número de puerto, ipipgo home diferentes puertos corresponden a diferentes servicios:

• Puerto 20000: Agente de marcación mixta nacional
• 30000 puertos: líneas de calidad de ultramar
• Puerto 40.000: agente de clase empresarial altamente anónimo

Guía para evitar las trampas de las solicitudes HTTPS

Los sitios HTTPS pueden informar de errores SSL, esta vez para añadir un-proxy-sslParámetros:

curl --proxy-ssl -x http://123.45.67.89:8080 https://加密网站.com

Si eso no funciona, intente ignorar la validación del certificado (no lo utilice para operaciones importantes):

curl -k --proxy-ssl -x http://123.45.67.89:8080 https://加密网站.com

Triple control de calidad real

P: ¿La configuración del proxy es correcta pero no puedo conectarme?
R: Primero quita el proxy y haz ping a la dirección de la puerta de enlace directamente, por ejemploping gateway.ipipgo.comComprueba si puedes pasar y verifica que la contraseña de la cuenta no esté copiada incorrectamente.

Q：Retorno 407 error de autenticación proxy ¿qué hacer?
R: El 90% del formato de la contraseña de la cuenta no es correcto, la postura correcta esNombre de usuario:Contraseña@Dirección del proxyTenga en cuenta que los caracteres especiales deben codificarse en la URL.

P: ¿Cómo puedo comprobar la IP de exportación real utilizada?
R: Conecte el proxy y visite la interfaz de detección de la home de ipipgo:
curl -x http://代理IP:端口 https://api.ipipgo.com/ip

La puerta para elegir los servicios de una agencia

La última advertencia es que hay que fijarse en tres cosas a la hora de elegir un servicio de agencia:

1. ¿Es el pool de IPs lo suficientemente grande (ipipgo home se actualiza diariamente con millones de IPs)?
2. ¿Existe una función de autenticación automática (su sistema de programación inteligente es realmente bueno)?
3. Tiempo de respuesta constante (latencia del nodo doméstico medida <50 ms)

Si quieres ahorrarte la molestia puedes utilizar el que te proporciona ipipgoCanal proxy dedicado a cURLTambién prepararon una plantilla de código listo, los documentos del sitio web oficial se puede utilizar para tirar hacia abajo. Recuerde que el agente de este asunto con el mismo llevaba un chaleco, la clave es cambiar a menudo para llevar, no deje que el sitio de destino para reconocer su cuerpo real.