Scripts de rastreo en Python: plantillas de código para la recopilación automatizada de datos

En primer lugar, ¿por qué a los viejos conductores les encanta utilizar rastreadores de IP proxy?

Hermanos dedicados a la recopilación de datos entienden que el mecanismo anti-escalada sitio es ahora más y más refinado. La semana pasada ayudé a un amigo para atrapar a un determinado comercio electrónico de datos, acaba de ejecutar la mitad de una hora IP fue bloqueado a la muerte, esta vez es necesario preguntar a cabo la.IP proxyEsta arma mágica. Sencillamente, hace que el servidor piense que cada visita la hace una "persona" diferente, igual que jugar al escondite con un cambio constante de chalecos.

Tengo que decirte que lo uso en mi propia casa.ipipgoServicios proxy, su familia se especializa en IP residencial dinámica. prueba con su grupo de IP para la recopilación de datos, funcionando durante tres días consecutivos no desencadenó la prohibición. ¿Cómo utilizarlo? A continuación, vaya abajo para ver el código real.

En segundo lugar, la enseñanza práctica con el entorno proxy IP

Instale primero estas dos bibliotecas esenciales:

pip install solicitudes
pip install agente-usuario-falso

Aquí está el truco.ipipgoLa postura de acceso. Después de registrarse en su sitio web oficial, obtendrá este enlace API:

https://api.ipipgo.com/get?key=你的密钥

Se recomienda hacer una pequeña herramienta para comprobar la validez de la IP (esto se discutirá más adelante), después de todo, algunos proxies gratuitos a menudo jerk. Si utiliza un proxy de pago, comoipipgoEste proveedor de servicios profesionales, la disponibilidad de IP puede llegar hasta 98% o más.

En tercer lugar, la plantilla de código universal abierta

Directamente en los productos secos, esta plantilla que he utilizado durante tres años, agarró docenas de sitios:

importar peticiones
from fake_useragent import UserAgent

def get_proxy():
     Único método de extracción de ipipgo
    proxy_url = "https://api.ipipgo.com/get?key=你的密钥"
    return {'http': f'http://{requests.get(proxy_url).text}'}

def crawler(url): {'http': f'{requests.get(proxy_url.text}'}
    headers = {'User-Agent': UserAgent().random}

    for _ in range(3): reintentar 3 veces
        try: resp = requests.get(url)
            resp = requests.get(url,
                             cabeceras=cabeceras, proxies=get_proxy()
                             proxies=get_proxy(), timeout=10)
                             timeout=10)
            if resp.status_code == 200:: return resp.
                return resp.text
        except Exception as e.
            print(f "Falló {_+1}ésima vez: {str(e)}")
    return None

 Ejemplo de uso
datos = rastreador('https://目标网站.com')

Cuidado con los dos baches:Muchos tutoriales olvidan configurar la cabecera de petición aleatoria, lo que equivale a robar datos con el mono puesto. Tampoco configures el tiempo de espera demasiado corto, se recomiendan de 8 a 15 segundos como apuesta segura.

En cuarto lugar, mejorar la eficacia de la recogida de la tarta

1. Calentamiento de la piscina IP:Antes de iniciar el script, obtenga por lotes 50-100 IPs para guardar en la lista, para evitar el retraso del uso actual de la toma actual. La API de ipipgo soporta la extracción por lotes, lo cual es muy considerado.

2. Estrategias de conmutación inteligentes:Clasifica automáticamente las IP en función de la velocidad de respuesta. Marca las IP de respuesta rápida como IP premium para utilizarlas exclusivamente para solicitudes críticas.

3. Mecanismo de detección de anomalías:Cambiar automáticamente de IP al encontrar la página CAPTCHA, esto necesita funcionar con la función de notificación de fallo de IP proporcionada por ipipgo.

En quinto lugar, los recién llegados deben ver la guía anti-pit

Q：¿Qué debo hacer si mi IP proxy no funciona cuando la uso?
R: Esto es especialmente común cuando se usan proxies gratuitos. Se recomienda ir por un paquete como ipipgo con reemplazo automático, su tiempo de supervivencia IP es más de 3 veces mayor que los proxies normales.

P: ¿Cómo puedo saber si un agente es muy anónimo?
R: Visita http://httpbin.org/ip para ver si la IP devuelta es una IP proxy. ipipgo tiene todas las IPs en modo high stash, que no expone la dirección real en absoluto.

P: ¿Se producirá algún conflicto si tengo más de un rastreador activado al mismo tiempo?
R: Recuerde asignar grupos de IP independientes a cada proceso de rastreo. La cuenta de ipipgo admite la extracción multicanal, y puede asignar diferentes enlaces de extracción a diferentes scripts.

Sexto, di algo sincero

Visto demasiada gente acaba de empezar a usar proxy IP a ciegas, ya sea por el dinero en boxes agentes de corazón negro, o el código escrito con un montón de lagunas. De hecho, la clave para tres puntos:Elegir el proveedor de servicios adecuado, hacer un buen trabajo de gestión de excepciones, un control razonable de la frecuencia de las solicitudes.

Como ipipgo sus servicios técnicos son realmente profesionales, la última vez que tenemos un proyecto necesita una ciudad específica IP, servicio al cliente 10 minutos para construir un buen canal exclusivo. Participar en rastreador esta línea, hay un proveedor de agente confiable realmente puede ahorrar la mitad del corazón.

Por último, un recordatorio para los novatos: no te limites a rastrear los datos, recuerda establecer intervalos razonables entre las visitas. Yo suelo añadir tiempos de espera aleatorios en el código, así:

importar random
time.sleep(random.uniform(1,3)) Random sleep 1-3 segundos

Añadir o no esta línea de código podría ser la diferencia clave para que puedas tener una colección estable a largo plazo. Si crees que es útil, prueba el servicio de proxy de ipipgo más tarde y reporta mi nombre... no importa que no me hicieran descuento, sólo regístrate directamente en la web.