Cómo rastrear sitios web con Python: Tutorial para principiantes

¿El rastreador del sitio web tiene bloqueada la IP?

Hace poco, varios amigos me preguntaron qué hacer si los sitios web siempre me bloquean la IP por escribir rastreadores en Python. ¡Tengo mucho que decir en este asunto! El año pasado para hacer el proyecto de comparación de precios de comercio electrónico, durante tres días consecutivos por una plataforma bloqueada más de 20 IP, enojado casi me rompió el teclado. Más tarde se encontró que el uso de proxy IP es la solución correcta, hoy para compartir la experiencia de combate para usted.

¿Por qué tu oruga no sobrevive a tres episodios?

Muchos novatos tienden a ignorarDetección de frecuencia de accesoEste pozo. Como una castaña, su casa con IP de banda ancha es fijo, jugar con agarrar datos como este:

importar peticiones
for i in range(1000):: response = requests.get('')
    respuesta = requests.get('https://目标网站')
     Procesando datos...

No fuera de un palo de incienso kung fu, absolutamente recibido 403 prohibido. sitio web de fuego no es vegetariano, la misma IP de acceso de alta frecuencia, tire inmediatamente el negro no es negociable.

La forma correcta de abrir una IP proxy

Aquí es donde entran los grandes asesinos...Servicio IP proxyEl principio es como un juego de "cambio de caras", en el que cada solicitud cambia su dirección IP. El principio es como un juego de "cambio de caras", donde la dirección IP se cambia para cada solicitud. RecomendadoipipgoLos proxies dinámicos, su grupo de IP es lo suficientemente grande como para que mi proyecto actual llame más de 50.000 veces al día y aún no se haya volcado.

Configuración del proxy Python en cinco pasos

Toma como ejemplo el proxy API de ipipgo (¡no uses proxies gratuitos! 99% son una mierda):

solicitudes de importación

proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:端口',
    https: http://用户名:密码@gateway.ipipgo.com:端口
}

 Recuerda añadir un mecanismo de tiempo de espera y reintento
inténtalo.
    response = requests.get('URL de destino', proxies=proxies, timeout=10)
    print(respuesta.texto)
except Exception as e.
    print(f'Solicitud fallida: {str(e)}')

Recordatorio focalizado:

1. Es aconsejable cambiar la IP del proxy antes de cada petición (ipipgo soporta la rotación automática)
2. Establece una latencia razonable, no bloquees el servidor web
3. Funciona mejor con User-Agent aleatorio.

Guía práctica para evitar el pozo

Me encontré con un problema típico cuando ayudé a un amigo a depurar un crawler el mes pasado: era evidente que utilizaba un proxy, pero aun así se reconocía. Más tarde, descubrí que eraCookie filtra IP realLa solución es sencilla. La solución es simple, desactivar las cookies en requests.Session():

session = requests.Session()
session.trust_env = False ¡configuración de clave!
response = session.get(url, proxies=proxies)

Preguntas frecuentes QA

P: ¿Tengo que utilizar un apoderado de pago?
R: Los proxies gratuitos pueden usarse para pruebas a corto plazo, pero los servicios profesionales como ipipgo son muy recomendables para proyectos comerciales. Probé un proxy gratuito la semana pasada y 8 de cada 10 IPs fallaron, lo que fue una pérdida de tiempo.

P: ¿Cómo puedo saber si un poder está en vigor?
R: Visite https://www.ipipgo.com/checkip para ver si la dirección IP devuelta ha cambiado.

P: ¿Qué debo hacer si encuentro un error de certificado SSL?
R: añada el parámetro verify=False a requests.get(), pero sólo se recomienda utilizarlo con fines de prueba.

Por último, hacer un rastreo de datos para cumplir con el acuerdo de robots sitio web. ¡Utilice ipipgo este tipo de alto alijo de proxy también quieren controlar la frecuencia de la solicitud, hacer un rastreador moral ingeniero ~!