Tutorial de rastreo web en Python: de principiante a experto

En primer lugar, ¿por qué su rastreador siempre es arrastrado por el sitio?

Crawler amigos entienden que el mayor dolor de cabeza se acaba de ejecutar dos minutos, IP está sellado a la muerte. El sitio no es un tonto, ver la misma solicitud loca IP, directamente apagar el perro. En este momento, usted necesita encontrar un sustituto para ayudarle a llevar la mina -.IP proxyUna elección excelente.

Como una castaña, usted quiere coger el precio de una determinada plataforma de comercio electrónico. Utiliza tu propia banda ancha doméstica para solicitarlo 50 veces, el servidor te dará inmediatamente un sello. Si cambia la dirección IP para cada solicitud, el sitio no puede saber si se trata de una persona real o un programa.sigilo distribuido.

importar peticiones
from itertools import ciclo

 Interfaz API proporcionada por ipipgo (recuerda sustituirla por tu propia cuenta)
proxy_pool = [
    'http://username:password@gateway.ipipgo.com:8001',
    'http://username:password@gateway.ipipgo.com:8002'
]

proxy_cycle = cycle(proxy_pool)

para página en rango(1, 101):
    try: proxy = next(ciclo_proxy).
        proxy = siguiente(ciclo_proxy)
        response = requests.get(
            f'https://example.com/products?page={page}',
            proxies={'http': proxy}, timeout=10
            timeout=10
        )
        print(f'Página {page} capturada con éxito')
    excepto.
        print('Esta IP se cuelga, cambia a la siguiente ahora')

En segundo lugar, proxy IP en el final cómo elegir fiable

El mercado está lleno de proveedores de servicios proxy, pero también hay muchas trampas. Algunos proxies gratuitos parecen bonitos, pero en realidad son más lentos que un caracol, y algunos de ellos son simplemente direcciones IP falsas.Consejos para evitar trampas::

Aquí está el truco.Agentes Residenciales DinámicosEste tipo de IP es exactamente igual a la IP de los usuarios ordinarios, por lo que el sitio web no puede encontrar ninguna anormalidad en absoluto. ipipgo tales proveedores de servicios también proporcionan la configuración automática de intervalo de cambio, y se recomienda cambiar la IP una vez cada 5-10 solicitudes.

En tercer lugar, la mano para enseñar a que coincida con el agente

Aquí tomamos como ejemplo la biblioteca de peticiones de Python, de hecho, los principios son similares. La clave es manejar elMecanismo de reintento de excepcionesNo dejes que todo el programa se venga abajo sólo porque falle una IP.

importar aleatorio
importar tiempo

def smart_crawler(url): max_retry = 3
    max_reint = 3
    for _ in range(max_retry):: _ in range(max_retry).
        probar.
             Elige un proxy al azar
            proxy = random.choice(ipipgo_proxies)

            response = requests.get(
                url, proxies = {'http': proxy}, response = requests.get(
                proxies={'http': proxy},
                headers=cabeceras_aleatorias, recuerda disfrazar las cabeceras de las peticiones
                timeout=8
            )

            if response.status_code == 200.
                return response.text

        except Exception as e: print(f "Error: {str(e)}")
            print(f "Error: {str(e)}")
            time.sleep(2) Falla y vuelve a intentarlo más tarde.

    return Ninguno

Mira esto.sueño aleatorioEl consejo, no solicitar siempre en todo el tiempo, es fácil ser atrapado por el sistema anti-escalada del patrón. Se recomienda parar aleatoriamente entre 2-5 segundos para simular la operación de una persona real.

Cuarto, el combate real: el caso de la supervisión de los precios del comercio electrónico

Supongamos que queremos controlar las variaciones de precio de 10 artículos en una plataforma, capturados 3 veces al día. Directamente en el código seco:

importar programa
from concurrent.futures import ThreadPoolExecutor

product_ids = ['123', '456', '789'] Ejemplo de ID de producto

def obtener_precio(id_producto):
    proxy = ipipgo.get_proxy() llama a la API de ipipgo para obtener una nueva IP
    probar.
        resp = requests.get(
            f'https://shop.com/product/{producto_id}',
            proxies={'http': proxy},
            headers={'User-Agent': 'Mozilla/5.0'}
        )
         Este es el código para analizar el precio
        save_to_database(product_id, price)
    excepto.
        ipipgo.report_failure(proxy) marcando IPs fallidas

def job().
    with ThreadPoolExecutor(max_workers=5) as executor.
        executor.map(fetch_price, product_ids)

 Ejecutar a las 8:00, 14:00 y 20:00 todos los días
schedule.every().day.at("08:00").do(job)
schedule.every().day.at("14:00").do(job)
schedule.every().day.at("20:00").do(job)

while True: schedule.run_pending()
    schedule.run_pending()
    time.sleep(1)

Hay tres puntos principales en este programa:Aceleración multihiloyCambio automático de IPyNotificación anormal de IP. La API con ipipgo también recupera automáticamente los proxies no válidos para garantizar que no se interrumpan las tareas de recogida.

V. Preguntas frecuentes QA

P: ¿Qué debo hacer si la IP proxy deja de funcionar de repente?
R: Cambie de IP inmediatamente y contacte con su proveedor de servicios. Como ipipgo tiene soporte técnico 24 horas, ¡el tiempo de respuesta es el doble de rápido que las contrapartes!

P: ¿Qué protocolo elegir, HTTP o SOCKS5?
R: HTTP es suficiente para las páginas web ordinarias, y SOCKS5 es necesario para transmitir datos encriptados. ipipgo soporta ambos protocolos, y se puede cambiar de fondo en cualquier momento.

P: ¿Hay una gran diferencia entre los proxies gratuitos y los de pago?
R: ¡La diferencia entre el cielo y la tierra! Proxy gratuito tiempo medio de supervivencia de menos de 1 hora, proxy de pago como ipipgo IP se puede utilizar durante 3-7 días. ¡No ahorre dinero en proyectos importantes!

P: ¿Por qué recomienda ipipgo?
R: Tres razones de peso: 1. IP exclusiva no hace cola 2. 30 provincias en el país IP opcional 3. el tráfico no está capado. Lo he usado y sé que ahorra más que el proxy pool autoconstruido.

VI. La mentalidad definitiva del antisellado

Y por último, un consejo.combinación::

1. Doble seguro de IP proxy + encabezado de solicitud aleatorio
2. Tareas importantes para abrir ipipgo'sModelo de rotación IP
3. Controla la frecuencia de las visitas, no hagas caer el servidor web
4. Limpia las galletas regularmente, no dejes colas pequeñas

Recuerde hacer el rastreo apromover la ética militarNo coger un sitio en un callejón sin salida. Cumplir con el acuerdo de los robots, los ajustes de retardo no puede ser menor. Utilice las herramientas adecuadas más el método correcto, recopilar datos para ser una corriente larga.