Código de integración de IP proxy: Ejemplo de código de integración de IP proxy

¿Qué hace realmente el código de integración de la IP proxy?

Por ejemplo, has escrito un crawler para recoger datos, pero el sitio web de destino bloquea directamente tu IP local, entonces necesitas una IP proxy paravolver a las andadasLa IP residencial dinámica proporcionada por ipipgo es como jugar al escondite en el que vas cambiando de escondite. ipipgo proporciona IPs residenciales dinámicas que pueden ser cambiadas por IPs de usuarios reales en diferentes regiones para cada petición, de forma que el sitio web no puede saber si es una persona real la que visita el sitio o un programa el que lo opera.

Acceso IP proxy en tres pasos

Paso 1: Obtenga el enlace API exclusivo
Tras registrarse en el sitio web de ipipgo, la consola genera un enlace de extracción similar a éste:

https://api.ipipgo.com/get?key=你的密钥&count=10&protocol=http

Esta interfaz devuelve 10 proxies disponibles y soporta los protocolos http/https/socks5. Se recomienda utilizar una IP residencial estática para la primera prueba para una mayor estabilidad.

Paso 2: Añadir el proxy pool en el código
Código de ejemplo de Python (biblioteca de peticiones):

solicitudes de importación

proxies = {
  'http': 'http://user:pass@12.34.56.78:8888',
  https: http://user:pass@12.34.56.78:8888
}

resp = requests.get('URL de destino', proxies=proxies, timeout=10)
print(resp.text)

Obsérvese la sustituciónusuarioresponder cantandopaseContraseña de cuenta para ipipgo con información de autenticación individual para cada IP proxy.

Paso 3: No puede faltar la gestión de excepciones
Se recomienda añadir un mecanismo de reintento a cada solicitud, como el cambio automático cuando falla un determinado proxy:

from retrying import retry

@retry(stop_max_attempt_number=3)
def safe_request(url).
    intentar.
        return requests.get(url, proxies=proxies_aleatorios())
    except Exception as e.
        print(f "Proxy fallido, auto-reemplazo: {e}")
        raise

Errores comunes de los novatos en control de calidad

P: ¿Cuántas veces tengo que utilizar la IP proxy antes de que caduque?
R: Si utiliza un paquete dinámico, cada IP es válida durante 5-30 minutos. Se recomienda obtener una nueva IP de la API para cada petición, o utilizar ipipgo'sIP estática de larga duraciónPaquetes.

P: ¿El código informa de un error de autenticación 407?
R: El noventa por ciento de los casos es la contraseña de la cuenta es incorrecta. ipipgo información de autenticación en el "mi paquete" - "información de conexión", tenga en cuenta que la contraseña contiene letras + números + símbolos especiales deben añadirse comillas.

P: ¿Lento como un caracol?
R: Pruebe estos dos métodos: 1) cambiar a TK paquete dedicado, ir ancho de banda independiente 2) establecer el tiempo de espera en el código, más de 3 segundos para cambiar automáticamente el proxy.

¿Por qué recomienda ipipgo?

Después de haber probado más de una docena de proveedores, tres razones para cerrar finalmente ipipgo:

1. IP residencial realA diferencia de algunos comerciantes que utilizan IPs de salas de servidores para suplantar su identidad, su base de datos de IPs puede comprobarse mediante whois que son AT&T, Comcast y otros operadores reales.

2. equipo de emergencia: La última vez que nuestro rastreador fue contra rastreado, el servicio de atención al cliente dio directamente el conjunto dePrograma de rotación en PIEl cargo se calcula en función del uso real de la dirección IP y del número de direcciones IP.

3. Transparencia de preciosA diferencia de algunas plataformas que ocultan los factores de pérdida de tráfico, ¡aquí se consume realmente 1 GB de tráfico!

Tabla de referencia de precios de los paquetes:

Mención especial a suLínea TKEl retraso es menor que el de los agentes ordinarios 60%, pero es necesario ponerse en contacto con el servicio de atención al cliente para abrirlo por separado.

Guía para evitar el pozo

He visto a demasiada gente volcar sus coches en estos lugares:

1. No hay agente local.: El ordenador tiene el software encendido y la configuración del proxy en el código está desactivada.

2. Olvidaste cambiar el User-Agent: Cambiar la IP pero no las huellas del navegador se romperá en minutos.

3. Desbordamiento de concurrenciaAunque utilices un proxy de calidad, 1000 hilos al mismo tiempo seguirán bloqueados.

Una última operación tart: combinando el proxy de ipipgo con selenium y usando el plugin browser fingerprinting se puede hacer lo siguienteSimulación completa del funcionamiento real. No se pondrá código específico involucrado en proyectos comerciales, interesados en su tecnología pueden encontrarlos para hablar de soluciones a medida.