Consejos para peticiones con varios encabezados: procesamiento masivo de datos cURL

¡Este es un gran truco! ¡Camuflaje de cabecera con cURL!

Los viejos conductores que se dedican a la recopilación de datos saben que el mecanismo anti-escalada de la página web de destino es como un radar, el bloqueo de su IP real en cuestión de minutos.Esta vez es necesariolit. pintar sosteniendo dos pinceles (modismo); fig. trabajar en dos tareas al mismo tiempo: Tanto el uso de proxy IP sigilo, sino también para aprender a la cabecera de la solicitud (Header) para cambiar la piel. Tome cURL, mucha gente sólo utilizará el parámetro -A para cambiar el User-Agent, de hecho, esto es sólo el comienzo.

Recientemente, ayudé a un amigo a depurar un script y me encontré con un caso diabólico: una plataforma de comercio electrónico obviamente tiene una IP proxy activada, pero seguía siendo baneada con un UA aleatorio, y entonces añadí lo siguiente a la cabecera de la peticiónAccept-Language: zh-CN,zh;q=0.9Este parámetro frío duplica directamente el porcentaje de éxito. Esto indica que el sistema anti-escalada ahoraCombinación de más de 20 campos de cabecerapara identificar el tráfico de máquinas.

Te enseñaré a fabricar identidades falsas al por mayor.

Primero, prepare un archivo headers.txt, escriba una combinación diferente de Header en cada línea, para dar un ejemplo de la configuración en un proyecto real:

Conexión: keep-alive
Aceptar: text/html,application/xhtml+xml
Accept-Encoding: gzip, deflate, br
Cache-Control: max-age=0

Conexión: close
Aceptar: /
Accept-Encoding: identity
Cache-Control: no-cache

Obsérvese el uso deliberado demezclar mayúsculas y minúsculas(como Keep-Alive escrito como keep-alive), algunos sistemas antiguos distinguen entre mayúsculas y minúsculas. Cuando utilice el proxy residencial de ipipgo, recuerde añadir estas tres líneas al script:

-x http://用户名:密码@gateway.ipipgo.com:9021
--proxy-anyauth
--connect-timeout 20

El registro de la operación de pacotilla en la batalla real

La semana pasada con este método para agarrar zapatillas limitadas, encontró un fenómeno metafísico: la misma combinación Header, con diferentes regiones del proxy IP diferencia de tasa de éxito de tres veces. Más tarde, vi en el fondo de ipipgoSegmento IP de la sala de servidoresresponder cantandoSegmento IP de banda ancha domésticade las comparaciones de tasas de supervivencia, recortan decisivamente al conjunto de agentes residenciales.

Aquí viene el punto:No cambie las cabeceras en orden cíclico¡! Lo mejor es usar un generador de números aleatorios para alterar el orden, o un algoritmo de asignación de pesos. Una vez me dio pereza y usé un bucle secuencial y acabé bloqueándome cada 30 peticiones, regular como un despertador.

Guía para evitar errores (Edición Lecciones de sangre)

La sesión de control de calidad señala algunas minas comunes que pisan los novatos:

P: ¿Por qué se sigue reconociendo después de añadir el Referer?
R: El 80% del nombre de dominio del Referer y la petición actual no coinciden, por ejemplo, de Taobao saltó a Jingdong pero no cambió el Referer. La función de localización IP de ipipgo, hace coincidir automáticamente la región proxy correspondiente al nombre de dominio del sitio web principal.

P: ¿Las cookies deben sustituirse aleatoriamente o no?
R: Depende del sitio web concreto. Algunas plataformas registran cookieshuella digital del dispositivoEn cambio, un cambio repentino activa la validación. Se recomienda utilizar el proxy a corto plazo de ipipgo para probar primero diferentes estrategias.

P: ¿Qué debo hacer si me encuentro con la protección de Cloudflare?
R: Esto es realmente difícil de conseguir, pero hay un comodín: añadir en el EncabezadoSolicitudes de actualización insegura: 0y luego con el de ipipgoAgentes altamente anónimos(Tenga en cuenta que debe elegir un nodo que admita el protocolo HTTP/2).

¿Por qué recomienda ipipgo?

Después de probar una docena de servicios proxy, acabé utilizando ipipgo a largo plazo por tres razones:
1. Su domicilioasignación dinámica de puertosTecnología que evita automáticamente las tácticas de bloqueo habituales
2. La velocidad de respuesta del servicio de atención al cliente es como un verdugo, la última vez que planteé una orden de trabajo a las 3 de la madrugada, recibí una solución en 5 minutos.
3. El régimen de precios es favorable a los proyectos pequeños y medianos, a diferencia de algunos de los grandes que tienen que pagar a partir de 100.000 dólares anuales.

Lo fundamental es apoyarAutenticación de listas blancas de encabezadosSi desea utilizar esta función, puede escribir la contraseña de su cuenta directamente en el encabezado de la solicitud, que es mucho más seguro que el método tradicional de autenticación. El uso específico de la documentación oficial, no es conveniente detallar aquí.

Por último, ¡no pierdas el tiempo con proxies gratuitos! El año pasado, un amigo intentó ahorrarse problemas utilizando una IP gratuita y acabó cobrandocódigo malicioso inyectadoToda la base de datos esta obsoleta. Las cosas profesionales todavía se dejan al ejército regular como ipipgo fiable.