¿Cómo obtener la dirección IP de un proxy de forma masiva?

Enseñarle a participar en IP proxy a granel, dos programas directamente en los productos secos

Ahora participar en la recopilación de datos, registro por lotes de estas operaciones, sin IP proxy es como freír verduras sin sal. Hay dos formas comunes en el mercado: o bien utilizar la interfaz API ya hecho, o escribir su propio rastreador para recopilar recursos libres. Vamos a romper hoy y decir, qué situación se debe utilizar en qué posición.

Opción 1: Interfaz API estable como un perro viejo

En primer lugar, vamos a hablar de la manera de ahorrar tiempo, conectarse directamente a la API del proveedor de servicios, tomar proxy dinámico residencial de ipipgo como un ejemplo, su interfaz está diseñado como una cámara estúpida. Registrar una cuenta, obtener la clave, y seguir la documentación para ajustar la interfaz en la línea.

solicitudes de importación

def get_proxies(): api_url = "
    api_url = "https://api.ipipgo.com/dynamic/get"
    params = {
        "clave": "Su clave
        "country": "us",
        "protocolo": "socks5",
        "quantity": 10
    }
    resp = requests.get(api_url, params=parámetros)
    return [f"{p['protocolo']}://{p['ip']}:{p['puerto']}" for p in resp.json()['datos']]

Tenga en cuenta algunos parámetros clave:Código de país seleccionado por paísEl protocolo es mirar a las necesidades del negocio para elegir el protocolo, la cantidad no quiere demasiado a la vez. ladrón de velocidad de respuesta de la interfaz de ipipgo, medido por segundo puede escupir 200 + IP válida, que alguna tarjeta de plataforma de medio día mucho más fuerte.

Opción 2: Lista completa de comodines de la colección de orugas

Los que no quieran gastar dinero pueden probar con sitios proxy gratuitos, pero prepárate: nueve de cada diez de estas IP son pozos. Aquí hay un script básico de recolección:

from bs4 import BeautifulSoup
importar peticiones

def scrape_free_proxies():
    proxies = []
    try: resp = requests.get('', timeout=10)
        resp = requests.get('https://example-proxy-site.com', timeout=10)
        soup = BeautifulSoup(resp.text, 'lxml')
        for row in soup.select('tabla tr'):: cells = fila.
            celdas = fila.buscar_todas('td')
            si len(celdas)>=2.
                proxies.append(f"{celdas[0].texto}:{celdas[1].texto}")
    except Exception as e.
        print('Fallo en la captura:', str(e))
    devolver proxies

Hay tres baches importantes en esta ley:Baja tasa de supervivencia, lenta, se bloquea fácilmenteSi usted está haciendo negocios serios, se recomienda que no se moleste con el servicio gratuito. Si estás haciendo negocios serios, te sugerimos que no te molestes con los gratuitos, o puede que no obtengas los datos y tu propia IP quede en negro.

API vs Crawler

¿Cómo elegir un paquete ipipgo sin pisar la línea?

Su familia se divide principalmente enDynamic Residential (Edición Estándar/Empresa)responder cantandoViviendas estáticasDe dos tipos:

• Versión estándar dinámica: adecuada para proyectos a corto plazo, la IP cambia automáticamente cada 15 minutos, ¡pague por la cantidad que desee sin dolor!
• Versión de empresa dinámica: con canal exclusivo e IP regional fija, realice comercio electrónico transfronterizo con los ojos cerrados en la
• Residencia estática: imprescindible para aumentar el número a largo plazo, una IP puede utilizarse durante 30 días sin cambios

Preguntas frecuentes QA

P: ¿Qué debo hacer si mi IP está siempre bloqueada?
R: Compruebe si está utilizando un proxy transparente, cambie el proxy de alto alijo y controle la frecuencia de acceso. La IP dinámica de ipipgo viene con camuflaje de cabecera de petición, que es más fuerte que los proxies ordinarios para resistir el bloqueo.

P: ¿Cómo puedo comprobar si el agente es válido?
R: Utilice este script de detección:

def comprobar_proxy(proxy).
    probar.
        resp = requests.get('http://httpbin.org/ip',
                          proxies={'http': proxy, 'https': proxy}, timeout=5))
                          timeout=5)
        return resp.json()['origen'] in proxy
    excepto
        return False

P: ¿Cuántas IP necesito utilizar al mismo tiempo?
A：Según el volumen de negocio, la recogida ordinaria es suficiente para cambiar 1 en 1 minuto. Si usted está haciendo negocios de tipo pico, se recomienda utilizar el modo de rotación de ipipgo para cortar diferentes IPs por segundo.

Por último, decir una gran verdad: los agentes libres buscan ahorrar dinero, el costo real de tiempo y riesgo, en realidad no es tan bueno como directamente en los servicios de pago fiables. En particular, la necesidad de estabilidad a largo plazo de la empresa, elija ipipgo esto se puede personalizar IP límite de tiempo, el ahorro no es un poco de medio punto.