Web Crawling con PythonBeautifulSoup: Ejemplos prácticos

En primer lugar, ¿por qué utilizar una IP proxy para rastrear la web?

El hierro viejo dedicado a rastreadores de red debe haber encontrado una situación de este tipo - acaba de agarrar dos páginas de datos, el sitio será su IP bloqueada. En este momento, no seas tonto con su propia IP real duro justo, con un proxy IP es el rey. Para dar una castaña, como jugar el juego para abrir un pequeño número, fue bloqueado por un número para seguir jugando, proxy IP es la razón.

Tenemos que felicitar a nuestroservicio proxy ipipgoEstá especializada en proxies residenciales dinámicos, con una reserva de IP residenciales reales de más de 200 regiones de todo el mundo.No se reconoce fácilmente como rastreadorDespués de todo, cada solicitud se cambia a una región diferente de la IP del usuario real, el sitio simplemente no puede distinguir entre las personas reales visitan o funcionamiento de la máquina.

II. Entorno práctico

Carguen a estos tipos primero:

pip install peticiones beautifulsoup4

No olvides preparar la clave API para ipipgo, obtendrás la dirección de acceso y el puerto exclusivos tras el registro. Se recomienda almacenar la información de configuración en variables de entorno para que el código se vea fresco:

importar os
PROXY_USER = os.getenv('IPIPGO_USER')
PROXY_PASS = os.getenv('IPIPGO_PASSWORD')

III. Cinco pasos para la captura básica

Utilicemos un sitio de comercio electrónico como objetivo para demostrar cómo capturar datos de precios de forma segura:

from bs4 import BeautifulSoup
importar peticiones

def basic_crawler(url): response = requests.
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
     Aquí cambiamos el selector según la estructura real de la página
    precios = soup.select('.sección-precios')
    return [p.text.strip() for p in precios].

Pero esta operación en marcha desnuda, no menos de 10 minutos absolutamente bloqueado. A continuación, vamos a poner un "chaleco antibalas".

IV. Colocar un escudo proxy en el rastreador

Modificar el objeto de sesión de las peticiones para integrar el servicio proxy de ipipgo:

session = requests.Session()
session.proxies = {
    'http': f'http://{PROXY_USER}:{PROXY_PASS}@gateway.ip ipgo.com:8080',
    https': f'http://{PROXY_USER}:{PROXY_PASS}@gateway.ipipgo.com:8080'
}

def safe_crawler(url).
    try.
        response = session.get(url, timeout=10)
        response.raise_for_status()
         Manejando la lógica de análisis...
    except requests.exceptions.RequestException as e:: print(f "f", "f", "f", "f", "f")
        print(f "Solicitud fallida: {str(e)}")
         Lógica de reintentos para el cambio automático de IP

Aquí viene el punto:El servidor proxy de ipipgo viene con una función de rotación automática de IP, por lo que cada petición puede utilizar una IP de salida diferente, y si comes con un User-Agent aleatorio, el resultado es aún mejor.

Quinto, el combate real: la captura de datos de productos básicos no se vuelca

Todo un ejemplo de combinación de IPs proxy y estrategias anti-anti-crawl:

importar random
from fake_useragent import UserAgent

ua = UserAgent()
headers = {'User-Agent': ua.random}

def super_crawler(url):: {'User-Agent': ua.random}
    headers = {'Usuario-Agente': ua.random}
        con session.get(url, headers=headers) como resp.
            if 'CAPTCHA' in resp.text: if 'CAPTCHA' in resp.text: if 'CAPTCHA' in resp.text.
                print("¡CAPTCHA activado!")
                 Aquí puedes acceder a la plataforma de codificación
                return Ninguno
            soup = BeautifulSoup(resp.text, 'lxml')
             Lógica de análisis de datos...
    except Exception as e.
        print(f "Escena de rollover: {e}")
        return None

Con este conjunto de datos de 3 días consecutivos de un determinado producto básico del Este, el conjunto de agentes de ipipgo se congeló sin ser baneado, lo que demuestra que el agente residencial dinámico es realmente fiable.

VI. Directrices para la resolución de las preguntas más frecuentes

P: ¿Por qué sigo bloqueado a pesar de utilizar un proxy?
R: Compruebe tres puntos: 1. si el tipo de proxy es correcto (proxy residencial recomendado) 2. si la frecuencia de petición es demasiado alta 3. si se debe traer una cabecera de petición aleatoria

P: ¿Cuál es la diferencia entre ipipgo y otros agentes?
R: Lo mejor de su casa esVivienda en la vida real PINo es tan fácil de identificar como un agente de sala de servidores. Con el mismo volumen de solicitudes, la tasa de bloqueo es inferior a la de los demás en más de 60%.

P: ¿Cómo rompo el CAPTCHA cuando me lo encuentro?
R: Reduzca adecuadamente la frecuencia de solicitud + simulación aleatoria de la pista de movimiento del ratón. Si realmente hay demasiados CAPTCHAs, se recomienda acceder a servicios profesionales de codificación.

P: ¿Cómo puedo saber si un poder está en vigor?
R: Visite la dirección http://ip.ipipgo.com/checkip para ver la IP de salida y la ubicación geográfica actualmente en uso.

VII. Resumen de consejos contra el sellado

1. Selección de IP proxyipipgo Agente ResidencialNo utilices agentes libres.
2. Cambio aleatorio de User-Agent por solicitud
3. Controla la frecuencia de las peticiones, no revientes como una ametralladora.
4. Captura de datos críticosCon reintento automáticológica de código
5. Compruebe regularmente la conectividad del proxy y sustituya oportunamente las IP que fallen.

Por último recordar a todos los rastreadores, con proxy IP no es una medalla de oro, cumplir con el acuerdo de robots sitio web es un largo camino. Necesidad de colección estable a largo plazo, se recomienda ponerse en contacto directamente con ipipgo servicio al cliente personalizado exclusivo programa de proxy, su hermano técnico afinado programa puede hacer la colección de varias veces más eficiente.