Python y curl: Guía de uso de la biblioteca PycURL

I. ¿Qué demonios es PycURL?

Mucha gente se confunde cuando oye hablar de PycURL por primera vez, pero en realidad es la versión Python del comando curl. Así como usualmente usas curl para probar interfaces, ahora puedes hacer lo mismo en Python. Por ejemplo, cuando quieres comprobar si una IP proxy está viva o no en un lote, aunque es fácil usar la librería requests, pero cuando te encuentras con escenarios en los que necesitas controlar las peticiones de red de forma fina, PycURL es la verdadera elección.

importar pycurl
from io import BytesIO

buffer = BytesIO()
c = pycurl.Curl()
c.setopt(c.URL, 'http://ipipgo.com/checkip')
c.setopt(c.WRITEDATA, buffer)
c.perform()
print(buffer.getvalue().decode('utf-8'))

II. Poner un chaleco proxy a PycURL

¡Aquí está el truco! La clave para conseguir que PycURL vaya a una IP proxy es poder establecer la red para estos dos parámetros:CURLOPT_PROXYresponder cantandoCURLOPT_PROXYUSERPWDPara ello se recomienda el servicio proxy ipipgo. Aquí se recomienda utilizar el servicio de proxy ipipgo, su familia proporciona formato de autenticación ya hecho, directamente rellenar el nombre de usuario y la contraseña va a funcionar.

c = pycurl.Curl()
c.setopt(c.PROXY, 'proxy.ipipgo.com:9021') Dirección de acceso de ipipgo
c.setopt(c.PROXYUSERPWD, 'user123:pass456') Formato de la contraseña de la cuenta
c.setopt(c.TIMEOUT, 10) Es importante establecer un tiempo de espera para la red.

III. Tres grandes escollos del comisionista

Los novatos se encuentran a menudo con estas polillas:

1. dirección proxy escrita en el puerto equivocado (el puerto de ipipgo empieza por 9021)
2. olvide abrir la autenticación del proxy (debe establecer PROXYUSERPWD)
3. no solucionó los problemas con el certificado SSL (agregue esta línea c.setopt(c.SSL_VERIFYPEER, 0))

Cuarto, el combate real: con ipipgo proxy prueba de velocidad por lotes

Aquí hay una plantilla de código dado para un escenario real para comprobar la capacidad de respuesta de una IP proxy:

def prueba_velocidad_proxy():
    c = pycurl.Curl()
    c.setopt(c.URL, 'http://speedtest.ipipgo.com')
    c.setopt(c.PROXY, 'proxy.ipipgo.com:9021')
    c.setopt(c.PROXYUSERPWD, 'usuario:pass')

     Centrarse en el registro de métricas de tiempo
    c.setopt(c.TIMEOUT, 15)
    c.setopt(c.NOSIGNAL, 1)

    prueba.
        start = time.time()
        c.perform()
        return tiempo.tiempo() - inicio
    except pycurl.error as e:: print(f '¡Colgado!
        print(f '¡Colgado! Código de error: {e.args[0]}')
    finalmente.
        c.close()

V. Sesión de control de calidad: lo que se puede preguntar

P: ¿Qué debo hacer si el agente no se conecta a menudo?
R: Primero compruebe si el estado de la cuenta es normal, ipipgo background puede ver el uso en tiempo real. A continuación, intente cambiar el área de acceso, a veces un nodo de mantenimiento temporal.

Q：¿Siempre se interrumpe la descarga de archivos grandes?
R: Recuerde configurarCURLOPT_LIMITE_VELOCIDAD_BAJAresponder cantandoCURLOPT_LOW_SPEED_TIMEevitando errores de cálculo en las fluctuaciones de la red.

P: ¿Cómo puedo obtener la IP del proxy que estoy utilizando actualmente?
R: La cabecera X-Real-IP devuelta a http://echo.ipipgo.com发请求 es la IP de salida real.

VI. Técnicas en frío: optimización de la agrupación de conexiones

Recuerde reutilizar los objetos Curl cuando utilice proxies con alta frecuencia. Se ha comprobado que el uso de connection pooling puede aumentar la velocidad 3 veces:

from threading import Bloqueo

clase CurlPool.
    def __init__(self, size=5).
        self.pool = [pycurl.Curl() for _ in range(size)]
        self.lock = Lock()

    def obtener_curl(self).
        con self.lock: return self.pool.
            return self.pool.pop()

    def release(self, curl): with self.lock: return self.pool.pop()
        curl.reset() ¡Paso clave! Borra el estado de la última petición
        self.pool.append(curl)

Por último, me gustaría decir que deberías fijarte en la calidad de las IPs cuando elijas un proveedor de servicios proxy. Por ejemplo, ipipgo con rotación automática de IPs tiene menos probabilidades de ser baneado al hacer proyectos de rastreo, y también proporcionan Python SDK, que es más conveniente que usar PycURL, por lo que los novatos pueden darle una oportunidad.