¿Cómo procesar por lotes las solicitudes API mediante un archivo curl?

Automatización práctica de API con archivos curl

Recientemente muchos de mis amigos que se dedican al rastreo de datos me han preguntado.Cómo gestionar cientos de peticiones API al mismo tiempo sin bloquear IPs¿Qué es esto? Esta cosa no es difícil de decir, la clave para saber un poco de habilidades de procesamiento por lotes. Hoy usaremos el comando curl más usado, con el servicio proxy ipipgo, te enseñaremos a procesar peticiones API como una cadena de montaje de fábrica.

Prepara tus cosas.

Primero tienes que tener tres cosas a mano:

1. Instale el entorno de línea de comandos de curl.(Windows utiliza PowerShell, Mac abre directamente un terminal)
2. Lista de direcciones API preparada de antemano(guardado como archivo txt, una URL por línea)
3. Grupo proxy dinámico para ipipgo(Se recomienda utilizar su protocolo s5, el que tiene autenticación de contraseña de cuenta)

Cuatro pasos hacia el combate real

Tomemos como ejemplo la API de previsión meteorológica. Supongamos que queremos consultar el tiempo de 50 ciudades en bloque:

Paso 1: Crear el expediente de solicitud

Cree un nuevo weather_apis.txt con un contenido similar al siguiente:

http://api.weather.com/beijing
http://api.weather.com/shanghai
... (otras ciudades)

Paso 2: Escribir el guión del bucle

Pulsa este comando en el terminal:

while read url; do
  curl -x socks5://user:pass@proxy.ipipgo.net:24000 "$url"
done < tiempo_apis.txt

Aquí, ten cuidado de sustituirlo por el que tienes en el backend de ipipgo.Contraseña de la cuenta realEl número de puerto también depende del tipo de paquete específico.

Etapa 3: Tratamiento de los resultados

Añada un parámetro de salida si desea guardar los datos devueltos:

curl -x ... -o "salida_$(fecha +%s).json"

Esta escritura genera archivos separados con marcas de tiempo para cada resultado para evitar la sobreescritura de datos.

Paso 4: Supervisión de anomalías

Los controladores más antiguos añaden un mecanismo de reintento de error:

curl --retry 3 --retry-delay 5 ...

Significa que falla al reintentar automáticamente 3 veces, cada vez con un intervalo de 5 segundos, y esto funciona especialmente bien para APIs inestables.

Errores comunes Garantía de calidad

P: ¿Por qué me siguen bloqueando después de usar un proxy?
¡A：Compruebe si el proxy IP uso repetido, ipipgo fondo se puede establecer en "cada solicitud de IP", encienda este interruptor!

P: ¿Cómo controlo la frecuencia de las solicitudes?
R: Añade el comando sleep al bucle, por ejemplo, para 1 segundo por cada 10 peticiones:

if (( $count % 10 == 0 )); then sleep 1; fi

P: ¿Qué debo hacer si los datos devueltos son confusos?
R: Añade un parámetro de codificación de caracteres a curl:

curl --compressed -H "Accept-Encoding: gzip" ...

Consejos para optimizar el rendimiento

Si tiene que gestionar miles de peticiones y un único subproceso es demasiado lento, puede utilizar la funciónComando xargs para abrir varios hilos::

cat apis.txt | xargs -P 8 -I {} curl -x ... {}

El -P 8 significa ejecutar 8 hilos al mismo tiempo, ajústalo según la configuración de tu ordenador. Recuerde aumentar la cuota de "concurrencia" en la consola ipipgo, de lo contrario estará limitado.

Un último recordatorio.Las solicitudes masivas deben conocer siempre las condiciones de servicio del sitio web de destinoNo cuelgues los servidores de la gente. Usar las IPs rotativas de ipipgo no sólo evita baneos, sino que su pool de IPs se actualiza con suficiente frecuencia como para garantizar básicamente una nueva IP para cada petición.