Curl Crawl Website: Tutorial de captura de línea de comandos

¿Por qué curl utiliza una ip proxy para captar sitios web?

Comprometido en el viejo conductor de la red crawler entender, directamente con su propio ordenador IP duro Kong servidor web, con el uso de pantalones de pie en la nieve como peligroso. El mecanismo anti-crawler del sitio no es vegetariana.Si es leve, la IP se bloqueará durante media hora, si es grave, se incluirá directamente en la lista negra.El servidor no podrá saber quién es quién. En este punto el proxy ip es como llevar un chaleco para curl, cada petición cambia de identidad, el servidor no puede saber quién es quién.

Por ejemplo, una plataforma de comercio electrónico está limitada a 500 visitas por hora. Si utiliza el Proxy Residencial Dinámico de ipipgo, que cambia automáticamente la dirección IP para cada solicitud.La eficacia de la recogida se multiplica por diezY sin respirar. Aquí está el truco, hay tres métricas para buscar la hora de elegir un agente:

Te enseñamos a rizar el rizo con los proxies

No se sienta intimidado por la línea de comandos, en realidad es sólo unos pocos parámetros más que curl regular. Digamos que te has registrado en ipipgo y tienes una cuenta proxy socks5:

curl -x socks5://username:password@gateway.ipipgo.com:1080 https://target.com

Hay que tener cuidado con algunas trampas:

1. 密码含特殊符号记得用%编码，比如@要写成%40
2. los sitios https deben utilizar proxies de alto alijo, de lo contrario la IP real quedará expuesta
3. Recomendamos añadir el parámetro -connect-timeout 30 a la configuración del tiempo de espera.

Consejos contra el bloqueo

No basta con saber usar proxies, hay que aprender a fingir normalidad. Aquí tienes tres trucos:

El primer truco: la hibernación aleatoria

sleep $((RANDOM%5+1)) Pausa aleatoria 1-5 segundos

Consejo nº 2: Ofuscación del encabezado de la solicitud

curl -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
     -H "Accept-Language: zh-CN,zh;q=0.9"
     -x http://ipipgo-proxy.cn:8080

Consejo nº 3: Rotación de IP

Utiliza la API de ipipgo para obtener el pool de proxy dinámicamente, se recomienda llamar a la interfaz para cambiar la IP antes de cada petición:

API_URL="http://api.ipipgo.com/getproxy?key=YOUR_KEY&protocol=socks5"
PROXY=$(curl -s $API_URL)
curl -x $PROXY https://target.com

Preguntas frecuentes QA

Q：¿Qué debo hacer si mi IP proxy no funciona cuando la uso?
R: el ochenta por ciento de la IP fue la estación de destino sacó negro, prisa para cambiar el modo de rotación automática de ipipgo, su piscina de origen se actualiza todos los días 200.000 +IP

P: ¿Por qué se me sigue reconociendo después de usar un proxy?
R: Compruebe si está utilizando un proxy transparente, el proxy high stash de ipipgo ocultará completamente la cabecera X-Forwarded-For.

P: ¿Qué configuración es necesaria para la adquisición a nivel empresarial?
R: Se recomienda utilizar la Edición Enterprise de ipipgo, que soporta más de 500 concurrencias, con reintentos automáticos y tablas de monitorización de tasa de fallos.

Cómo elegir un servicio de agentes fiable

Los servicios de agencia del mercado son una mezcla de todo tipo, así que recuerde estas tres guías para evitar las trampas:

1. No creas en los servicios perpetuamente gratuitos que limitan la velocidad o venden datos
2. Compruebe si se admiten varios protocolos, como ipipgo, que admite HTTP/S y SOCKS5.
3. Prueba de pureza IP, utilice este comando para comprobar si hay fugas en el encabezado X-Real-IP:

curl -x proxy IP http://httpbin.org/headers

Por último, me gustaría darle algunos consejos sobre cómo sacar el máximo provecho de su dirección IP y cómo sacar el máximo provecho de su dirección IP. Su agente dinámico residencial es particularmente adecuado para proyectos de recolección a largo plazo, el tiempo de supervivencia IP que otros padres 3 veces, la clave es la respuesta rápida de servicio al cliente, las dos últimas en el medio de la noche para mencionar la orden de trabajo en realidad segundos back....