Peticiones Pythoncurl: Guía de uso de la biblioteca PycURL

I. ¿Qué diablos es PycURL?

Hay un montón de librerías python para peticiones de red, por qué tienes que usar pycurl, que en realidad es un binding python para el comando curl, y no es ni la mitad de rápido que la librería requests. Especialmente si necesitas manejar transferencias de archivos grandes o escenarios de alta concurrencia, usarlo puede ahorrar muchos recursos del servidor.

Hacemos hermanos de recopilación de datos entienden que el uso de ip proxy es sólo necesario. Por ejemplo, con el servicio de proxy de ipipgo, con pycurl esta arma mágica, puede eludir fácilmente el mecanismo anti-escalada. El siguiente código es el uso más básico:

importar pycurl
from io import BytesIO

buffer = BytesIO()
c = pycurl.Curl()
c.setopt(c.URL, 'http://example.com')
c.setopt(c.WRITEDATA, buffer)
c.perform()
c.close()

Segundo, biblioteca instalada esos pozos que tienes que evitar caminando

Instalar pycurl no esinstalar pipYa está hecho. Muchos novatos se atascan en este paso, y los mensajes de error pueden ser confusos. Aquí tienes un consejo: instala primero la librería de desarrollo libcurl, luego instala pycurl. diferentes sistemas tienen diferentes comandos, así que te pongo una tabla:

Instale la dependencia y ejecútela de nuevopip install pycurlrecuerde añadir parámetros de compilación:PYCURL_SSL_LIBRARY=openssl pip install pycurlque evita los inconvenientes de la validación de certificados SSL.

En tercer lugar, la forma correcta de abrir el proxy IP

¡Aquí viene lo bueno! Usando el servicio proxy de ipipgo, configurar un proxy en pycurl es en realidad bastante simple. La clave es entender estos parámetros:

c = pycurl.Curl()
c.setopt(pycurl.PROXY, 'proxy.ipipgo.com:9021') rellena aquí la dirección proporcionada por ipipgo
c.setopt(pycurl.PROXYUSERPWD, 'username:password') información de autenticación de la cuenta
c.setopt(pycurl.PROXYTYPE, pycurl.PROXYTYPE_HTTP) Ajustar según el tipo de proxy

Hay un lugar fácil para darse la vuelta...configuración del tiempo de espera. Se recomienda emparejarlo así:

• Tiempo de espera de la conexión:c.setopt(pycurl.CONNECTTIMEOUT, 30)
• Tiempo de espera de la solicitud:c.setopt(pycurl.TIMEOUT, 120)

Cuarto, el caso de combate real: adquisición automática de PI

Combinado con la API de ipipgo para el cambio automático de proxy, esto es la leche. Por ejemplo, para recorrer 10 páginas para recoger:

importar json
from ipipgo_client import get_proxy Asumiendo que este es el SDK para ipipgo

for page in range(10): proxy = get_proxy(type='http')
    proxy = get_proxy(type='http') obtener nuevo proxy cada vez
    c = pycurl.Curl()
    c.setopt(pycurl.PROXY, f"{proxy['ip']}:{proxy['puerto']}")
     Otras configuraciones de petición...
    inténtalo.
        c.perform()
    except pycurl.error as e.
        print(f "La {página}ésima petición se ha volcado: {e}")

V. Tres ejes de optimización del rendimiento

1. multiplexación de conexionesNo seas estúpido y crea una nueva conexión cada vez, utiliza la funciónc.setopt(pycurl.FORBID_REUSE, False)Activación de la agrupación de conexiones

2. Caché DNS: plusc.setopt(pycurl.DNS_CACHE_TIMEOUT, 300)Ahorra mucho tiempo de búsqueda

3. transmisión comprimida: Ajustesc.setopt(pycurl.ACCEPT_ENCODING, 'gzip')Reducción del consumo de tráfico