curl set request header | custom UA and Referer

Enmascaramiento de cabeceras de petición con curl

La gente en el uso de curl agarrar los datos, no se encuentra a menudo en el sitio web muertos no dar respuesta? Esto es algo que me encontré todos los días cuando yo estaba haciendo el seguimiento de los precios del comercio electrónico el año pasado. Más tarde se encontró queNo disimular una cabeza de petición es como navegar desnudo por la red.Si eres un rastreador, podrás identificar el sitio de un vistazo. Hoy hablaremos de cómo usar la IP proxy con curl set request header, centrándonos en la home recomendada con el prácticoipipgoServicios de agencia.

¿Por qué tirar la cabecera de la solicitud?

Por poner un ejemplo práctico: el año pasado, quise pillar los datos promocionales de una plataforma, usando la IP de su propio ordenador de conexión directa, sólo envié unas cuantas peticiones para que se bloquearan. Más tarde, puse el proxy dinámico residencial de ipipgo para curl, y luego cambié el UA y Referer, y todo fue bien durante 3 días seguidos. Esto es comoLlevar una máscara de piel humana a un baile de máscaras.El sitio web ni siquiera reconocerá quién eres.

curl establece los parámetros centrales de la cabecera de la petición

Recuerde estos tres cambios obligatorios:
– -H "User-Agent: ..."(huellas dactilares del equipo)
– -H "Referer: ..."(página de entrada)
– -x Dirección del servidor proxy(Proxy socks5 sugerido con ipipgo)

El orden real es el siguiente:

curl -x socks5://user:pass@gateway.ipipgo.io:20000
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
-H "Referer: https://www.example.com/product/123"
https://target-site.com/data

Selección cuidadosa de la IP proxy

Después de utilizar 7 u 8 proveedores de servicios proxy, finalmente me decidí por ipipgo por dos razones principales:
1. El grupo de IP residenciales es lo suficientemente grande (he oído que más de 20 millones)
2. Mantenimiento automático de la sesión (especialmente útil cuando se realizan operaciones que requieren iniciar sesión)
Tenga cuidado con el formato de su dirección proxy:pasarela.ipipgo.io Este dominio es una entrada fija, no lo utilices mal.

Control de calidad de escenas de vuelco comunes

P: ¿Qué debo hacer si siempre se confunde el orden de los parámetros?
R: Recuerde la nemotécnica: configuración del proxy (-x) en la parte superior, información de encabezado (-H) en el centro de la fila, la URL de destino en último lugar con el símbolo

P: ¿Utiliza la UA la versión para móvil o para ordenador?
¡R: Mira la fuente de tráfico del sitio web de destino, la clase de comercio electrónico más UA teléfono móvil, sitio web oficial de la empresa más PC. ipipgo fondo tiene biblioteca UA ya hecho se puede copiar directamente!

P: ¿Cómo se implementa la cabecera de solicitud dinámica?
¡R: Se recomienda utilizar la función de enrutamiento inteligente de ipipgo, puede rotar automáticamente UA y Referer, que escribir sus propias secuencias de comandos para ahorrar tiempo!

Guía para evitar el pozo

Hace poco descubrí que algunos sitios web detectanIntegridad de la cabeceraLa semana pasada, un cliente no se añadió el encabezado Accept-Language. La semana pasada, un cliente cayó en la cabecera Accept-Language no se añadió, obviamente, todos los demás parámetros son correctos, pero aún así ser identificado como un robot. Se recomienda utilizar la función de comprobación de cabeceras de petición de ipipgo para completar automáticamente los parámetros necesarios.

¡Por último, un conocimiento frío: recuerde desactivar la configuración del proxy del sistema cuando se utiliza IP proxy! Una vez que la depuración de medio día sin resultados, y finalmente encontró que el equipo está en el proxy global, los dos proxies conducen a tiempo de espera, este error de bajo nivel no hacen.