aiohttp vs httpx: Comparación de bibliotecas de peticiones asíncronas

¿Cuál es la diferencia entre estas dos bibliotecas de peticiones asíncronas?

Hermanos que participan en los rastreadores de red deben haber encontrado con esta situación: obviamente escribir un buen código, los resultados del sitio un límite de velocidad a ciegas. En este momento la biblioteca de peticiones asíncronas es un salvavidas, aiohttp y httpx estos dos bienes se comparan a menudo. En primer lugar, una diferencia vernácula: aiohttp es como un enfoque en el sprint, especialmente nacido para asíncrono; httpx es más como un jugador todo terreno, síncrono asíncrono puede jugar.

Pongamos un ejemplo realista, supongamos que quieres usar proxy IP para detectar por lotes 100 páginas web. Con aiohttp, tendrías que construir tus propias ruedas para gestionar el pool de conexiones, mientras que httpx viene con un multiplexor de pool de conexiones, que es mucho más amigable para los novatos. Pero aiohttp es realmente más rápido y más ligero en un entorno puramente asíncrono, especialmente cuando se trata de laconexión largaAhorra mucha memoria cuando se trata de la

¿Cuál es la mejor configuración de IP proxy?

¡Aquí está el punto! Hacemos la recopilación de datos de la configuración del proxy más dolor de cabeza. Prueba encontró que la configuración del proxy de aiohttp debe escribirse así:

importar aiohttp
async con aiohttp.ClientSession() como session.
    async with session.get('https://目标网站', proxy="http://user:pass@ipipgo-proxy.com:端口") as resp.
        print(await resp.text())

La forma en que está escrito httpx se acerca más al estilo de las peticiones:

importar httpx
async with httpx.AsyncClient(proxies="http://user:pass@ipipgo-proxy.com:端口") as client: resp = await client.get("http://user:pass@ipipgo-proxy.com:端口")
    resp = await client.get("https://目标网站")

Hay un escollo a tener en cuenta: aiohttp'sEl parámetro proxy debe tener una cabecera de protocolo(http://或https://) que httpx reconocerá automáticamente. Aquí se recomienda utilizar el servicio de proxy de ipipgo, su familia proporciona plantillas de autenticación ya hechas, directamente copiar y pegar se puede utilizar, ahorrarse tirar empalme de cadenas.

Competición de rendimiento en el mundo real

Hagamos una prueba con un escenario real (entorno de prueba: 100 peticiones/5 de concurrencia):

¿Ves? aiohttp tiene una ventaja en velocidad, pero httpx viene con unfunción de reintento automáticoEs realmente fragante. Especialmente cuando se usan proxies de alta disponibilidad como ipipgo, con el mecanismo de reintentos la tasa de éxito puede llegar a más de 99%. Pero lo del consumo de memoria depende de la situacion especifica, si es solo una tarea de corto tiempo, esta brecha puede ser ignorada.

¿Cuál debo elegir?

Dar consejos sólidos:

• necesitaMáximo rendimientoSeleccione aiohttp
• coaccionarPrimeros pasosUtilizar httpx
• Necesidad de procesamiento simultáneoSíncrono + AsíncronoSelección solicitada httpx

Tomemos un caso real: antes de ayudar a los amigos hacer el seguimiento de los precios de comercio electrónico, tanto para subir la plataforma nacional y para subir el sitio en el extranjero (por supuesto, es utilizar el nodo global de ipipgo la). Al final, usamos httpx para conseguirlo, porque podíaCambio automático entre HTTP/1.1 y HTTP2algunos sitios deben utilizar HTTP2 para acceder, que aiohttp aún no soporta.

Preguntas frecuentes QA

P: ¿Qué debo hacer si el proxy siempre interrumpe la conexión?
R: En primer lugar, utilice la interfaz de prueba proporcionada por ipipgo para comprobar si el proxy está disponible y, a continuación, compruebe la configuración de los parámetros de tiempo de espera. Se recomienda configurar el tiempo de espera a más de 15 segundos, especialmente para nodos de alta latencia.

P: ¿Cómo configurar el proxy HTTPS?
R: Sólo tiene que sustituir http por https en la dirección del proxy, por ejemplo: "https://user:pass@ipipgo-ssl-proxy.com:端口". Tenga en cuenta que algunas versiones antiguas de la biblioteca pueden no ser compatibles, se recomienda utilizar la última versión de httpx.

P: ¿Y si tengo que cambiar de agente con frecuencia?
R: Se recomienda utilizar el servicio de proxy dinámico de ipipgo, supaquete de facturación por cantidadesApoyar la conmutación automática de IP, directamente en el punto final conjunto de código en la línea, no tienen que mantener su propio grupo de IP.

Consejos personales

Algunos comentarios finales:

1. No uses time.sleep() en funciones asíncronas, usa asyncio.sleep()
2. Si falla la autenticación proxy, compruebe en primer lugar el parámetrosaldo de la cuenta(No te rías. Hay mucha gente que se olvida de renovar su afiliación).
3. Se pueden encontrar errores SSL añadiendoverificar=Falsees una solución temporal, pero los entornos de producción deben acordarse de hacer coincidir el certificado.

En resumen, de acuerdo con el proyecto necesita para elegir las herramientas, no seguir la tendencia. Proyectos pequeños con aiohttp poco cargados, negocios complejos con httpx más preocupantes. Servicios de proxy muy recomendable ipipgo, su familia deNodos de Pekín, Shanghai y ShenzhenLa latencia está por debajo de 50 ms, lo que es muy bueno para hacer negocios domésticos.