Configuración de la IP del proxy cURL Proxy: Configuración de la IP del proxy de la línea de comandos cURL

Te enseña a usar cURL para colgar la IP del proxy con facilidad

Crawler hermanos deben entender, a veces directamente con sus propios datos de solicitud de red se disparará mecanismo anti-escalada. En este momento se necesita un proxy IP como un "stand-in", hoy se centran en cómo cURL esta herramienta de línea de comandos para colgar el proxy, especialmente con elipipgode los servicios de la agencia.

¿Por qué necesito un proxy para cURL?

Por ejemplo, si utiliza continuamente la misma IP para cepillarse un sitio web, el webmaster no es un tonto, y le dará un minuto para IP fuera de la pequeña habitación negro. Proxy IP es como jugar "cara", cada solicitud de una identidad diferente, la tasa de éxito puede ser duplicado. EspecialmenteipipgoEste servicio, que ofrece una reserva masiva de IP, puede obtener miles de direcciones IP de diferentes regiones.

Tres posiciones para configurar el proxy

Aquí para enseñarte tres métodos comunes, recuerda cambiar la contraseña de la cuenta del ejemplo por la tuya propia en el botónipipgo back officeConsigue las verdaderas credenciales:

 Conexión proxy directa desde la línea de comandos (buena para uso temporal)
curl -x http://user:pass@proxy.ipipgo.cn:9023 https://目标网站

 Establecimiento de variables de entorno (para uso a largo plazo)
export http_proxy=http://user:pass@proxy.ipipgo.cn:9023
exportar https_proxy=http://user:pass@proxy.ipipgo.cn:9023

 Escribir archivo de configuración (adecuado para controladores antiguos)
vim ~/.curlrc
Añada esta línea
proxy = http://user:pass@proxy.ipipgo.cn:9023

No te equivoques con los parámetros importantes.

Obsérvese el escollo de fijarse en los tipos de proxy:

 Escritura proxy HTTP
curl -x http://代理地址 URL de destino

 Escritura de proxy SOCKS5
curl --socks5 Dirección del proxy URL de destino

Si utilizaipipgoEl servicio, su casa soporta ambos protocolos HTTP y SOCKS5, se puede ver el tipo de protocolo específico en el backend.

Detectar si el agente funciona o no

Después de colgar el proxy, verifíquelo con este comando:

rizo https://api.ip.ipipgo.cn/current-ip

Si la IP devuelta no es la misma que la de la máquina local, significa que el proxy se ha configurado correctamente. Esta interfaz de detección esipipgoLas ofertas especializadas son más fiables que el uso de sitios web de terceros.

Control de calidad de escenas de vuelco comunes

Q：¿Qué debo hacer si no tengo ningún efecto después de configurar el proxy?
R: Compruebe primero tres elementos: tipo de protocolo (http/socks5), número de puerto y contraseña de la cuenta. UtiliceipipgoSi quieres, puedes pedir a su servicio de atención al cliente el comando de prueba de conexión.

P: ¿Cómo puedo saber si la IP proxy funciona?
R: Utiliza esta combinación:
1. 先用ping命令测
2. Utilice curl -I para medir de nuevo la cabecera de respuesta.
3. Datos finales de la solicitud real

P: ¿Son compatibles los sitios HTTPS?
R: Siempre que el servidor proxy admita el modo túnel (como el servidoripipgo(que es compatible con toda la línea de productos), se puede acceder normalmente a los sitios https, del mismo modo que con la configuración http normal.

Consejos privados

A veces es necesario.Cambio aleatorio de agentespuedes escribir un script de shell:

¡! /bin/bash
PROXY_LIST=(
  "http://user:pass@proxy1.ipipgo.cn:9023"
  "http://user:pass@proxy2.ipipgo.cn:9023"
  "http://user:pass@proxy3.ipipgo.cn:9023"
)
RANDOM_PROXY=${PROXY_LIST[$RANDOM % ${PROXY_LIST[@]}]}
curl -x $RANDOM_PROXY sitio de destino

Esta secuencia de comandos funciona en combinación conipipgoLos múltiples canales proxy pueden rotar automáticamente las IPs, y el efecto anti-crawler es genial.

El último punto: la calidad de la IP del proxy determina directamente la tasa de éxito. Como algunos proxies gratuitos suelen fallar en la conexión, se recomienda utilizar elipipgoEste tipo de proveedores de servicios profesionales, su canal proxy casa con verificación automática y mecanismo de reintento, ahorrar un montón de preocupaciones.