Python crawler proxy: Interfaz API exclusiva de Python proxy IP

当爬虫撞上反爬，代理IP就是你的安全气囊

Do rastrear el hierro viejo debe haber experimentado una escena tan mágica: ayer también corrió el guión, hoy de repente paralizado. El servidor devuelve el código de error 403 como una ametralladora que estalló, esta vez para sacar el proxy IP esta arma mágica. Tomemos ipipgo familia de la piscina proxy dinámico, su mecanismo de rotación puede hacer que su solicitud como una cara de ópera de Sichuan como, cada vez que visita una nueva cara.

solicitudes de importación

proxies = {
    'http': 'http://username:password@gateway.ipipgo.com:9020',
    https: http://username:password@gateway.ipipgo.com:9020
}

response = requests.get('https://target-site.com', proxies=proxies)

El nombre de usuario y la contraseña en el bloque de código anterior tienen que ser reemplazados con las credenciales de autenticación que recibió en el backend de ipipgo. Preste atención a ver el número de puerto 9020, esta es su casa específicamente para los usuarios de Python para abrir un canal verde, más de 30% más estable que el puerto general.

Elegir una IP proxy es como comprar comestibles, la frescura es la diferencia entre el éxito y el fracaso

Hay muchos proveedores de servicios proxy en el mercado, pero no muchos de ellos son fiables. He resumido unael principio de las tres miradas (en muchos contextos)::

Mención especial a ipipgo'sMecanismo de calentamiento IPSu pool de proxies se adaptará de antemano a los sitios web más populares. Por ejemplo, si quieres escalar una plataforma de comercio electrónico, el sistema asignará automáticamente IPs que hayan visitado con éxito el sitio recientemente, y este truco puede ahorrar un 30% del coste de prueba y error.

Guía práctica para evitar escollos: no deje que los errores de bajo nivel arruinen sus guiones

Visto demasiados casos de personas que utilizan IPs proxy como tamices, aquí hay dos puntos de paso de alta frecuencia:

1. Los tiempos de espera son demasiado sencillos

 Bug de demostración: timeout fijado uniformemente en 3 segundos
requests.get(url, proxies=proxies, timeout=3)

 Postura correcta: establecerlo por etapas
from requests.adapters import HTTPAdapter

session = requests.Session()
session.mount('http://', HTTPAdapter(max_retries=3))
session.mount('https://', HTTPAdapter(max_retries=3))
response = session.get(url, proxies=proxies, timeout=(3, 7))

2. El encabezado de la solicitud se olvidó de disimular

Aunque uses una IP proxy, el User-Agent sigue siendo claramente python-requests, ¿no es como ponerte "soy un crawler" en la cabeza? Se recomienda usar con la librería fake_useragent:

from fake_useragent import UserAgent
headers = {'User-Agent': UserAgent().random}

sesión de preguntas y respuestas

P: ¿Qué debo hacer si la IP proxy no funciona después de utilizarla?
R: Esta situación es ochenta por ciento IP pool actualización no es oportuna, la solución de ipipgo es la rotación de doble canal. Añadir un mecanismo de reintento de excepción en el código para cambiar automáticamente el punto de acceso alternativo:

lista_proxy = [
    'pasarela.ipipgo.com:9020',
    'backup.ipipgo.com:9021'
]

P: ¿Cuál es la forma más segura de controlar la frecuencia del gateo?
R: No seas tonto al usar time.sleep(1), se recomienda usar retardo aleatorio + doble seguro de control de flujo. ipipgo backend puede establecer elumbral de caudalSi se sobrepasa el valor establecido, se funde automáticamente, lo que es mucho más flexible que escribirlo a muerte en el código.

P: ¿Cómo rompo el CAPTCHA cuando me lo encuentro?
R: Primero compruebe si la IP del proxy está expuesta, con el alto alijo de proxies de ipipgo puede básicamente eludir el 90% de los CAPTCHA. El resto del hardcore se puede combinar con bibliotecas de reconocimiento OCR, como ddddocr el dios.

Una última palabra de verdad.

La IP proxy no es la panacea, pero elegir el proveedor de servicios adecuado puede alargar la vida del rastreador más de cinco veces. He utilizado siete u ocho proveedores y, al final, ipipgo es el más resistente. Tienen unAutocompensación IP anormalEl mecanismo, encontrando IP no válida hará automáticamente el tiempo a la cuenta, este tipo de operación de conciencia en la industria no es realmente común.

Hace poco me enteré de que se pusieron en marchageolocalizaciónLa función, como el acceso especial a la IP residencial de una ciudad. la semana pasada para hacer una revisión de la recopilación de datos de los comerciantes del sitio, con esta función directamente eludir las restricciones geográficas, la eficiencia de dos veces. Si necesita el hierro viejo puede ir a la página web oficial para echar un vistazo, los nuevos usuarios para enviar paquete de experiencia de flujo 3G, suficiente para ejecutar un pequeño proyecto.