Beautifulsoup Web Crawl: Captura de páginas estáticas

Una cartilla estática de recopilación de páginas que hasta un blanco puede entender

Recientemente, muchos amigos me han preguntado cómo usar Python para hacer recopilación de datos web, especialmente del tipo de páginas estáticas que no necesitan iniciar sesión y se pueden abrir directamente para ver el contenido. Es fácil de decir, pero hay un gran escollo - el¡El sitio de destino descubrió que usted está tomando con frecuencia los datos, minutos a su IP negro!. Yo estaba ayudando a alguien con una herramienta de comparación de comercio electrónico la semana pasada y acaba de resolver el problema perfectamente con el grupo de proxy de ipipgo.

Veamos primero el funcionamiento básico:

importar peticiones
from bs4 import BeautifulSoup

url = 'http://目标网站.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
 Supongamos que queremos capturar el precio de un producto
precio = soup.select('.producto-precio')[0].text

Este código puede no ser un problema para ejecutar tres o cinco veces, pero si usted quiere recoger a granel, que sin duda activará la protección del sitio. En este momento es la apariencia IP proxy, como si el procedimiento para llevar una miríada de "máscaras", por lo que el sitio piensa que es una persona diferente en la visita.

En segundo lugar, el proxy IP por qué es la colección de esencial

Directo a la gran verdad:Rastrear sin una IP proxy es como correr desnudo.. Proxy IP puede ayudarle a recopilar datos a nivel comercial en particular:

He pisado antes los pozos con proxies gratuitos, lentos como una tortuga o fallando de repente cuando los usaba. Entonces cambié al proxy comercial de ipipgo, y es obvio que me sientoLa tasa de éxito de las conexiones aumenta de 40% a 95%especialmente sus IP residenciales dinámicas, que están magníficamente camufladas.

En tercer lugar, la mano para enseñar a conectar el agente en el código

Añadir proxies a las peticiones es en realidad super sencillo, se trata deAprende a cambiar de IP automáticamente. Tomemos como ejemplo la API ipipgo:

importar aleatorio

def get_proxy().
     Sustitúyelo por la dirección de la API proporcionada por ipipgo.
    proxy_list = requests.get("https://api.ipipgo.com/your-endpoint").json()
    return random.choice(lista_proxy)

while True.
    try: proxy = get_proxy()
        proxy = get_proxy()
        response = requests.get(url, proxies={
            "http": f "http://{proxy}", "https": f "http://{proxy}",
            "https": f "http://{proxy}"
        }, timeout=10)
        except Exception as e: "http": f"{proxy}
    except Exception as e.
        print(f "IP {proxy} colgada, cambiando automáticamente a la siguiente")

Tenga cuidado de añadir un mecanismo de tiempo de espera y reintento, ya que algunos proxies pueden tener tirones temporales. La API de ipipgo tiene la ventaja de poderDevolución en tiempo real de los proxies disponiblesmucho menos esfuerzo que mantener su propio grupo de IP.

Cuarto, casos reales: seguimiento de los precios del comercio electrónico

El año pasado, cuando ayudaba a un amigo a hacer un sistema de comparación de precios para una plataforma de comercio electrónico, me encontré con el403 Anti-Crawl. Luego se las arregló para romper con el esquema de IP rotativa de ipipgo con estos consejos a continuación:

cabeceras = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0) ..." , navegador falso
    "Accept-Language": "zh-CN,zh;q=0.9" Entorno chino
}

soup = BeautifulSoup(response.text, 'lxml') for parser
data = soup.find('script', type='application/ld+json') encontrar datos ocultos

Este es el punto clave.Cambiar IP + cambiar UA para cada solicitudmanteniendo el intervalo de recolección en 30-60 segundos. Utilicé el pool de IPs de 100.000 niveles de ipipgo y lo ejecuté durante tres meses seguidos sin flipar.

V. Preguntas frecuentes QA

P: ¿Qué debo hacer si siempre me encuentro con CAPTCHA?
R: que la calidad de la IP no es buena, cambiar ipipgo alto alijo de IP residencial, al mismo tiempo, reducir la frecuencia de recogida

Q：¿Se bloqueó la recogida de la mitad de la IP?
R: Comprueba si estás usando un proxy transparente, el Proxy Elite de ipipgo viene con encriptación HTTPS, que no es fácil de identificar.

P: ¿La respuesta del agente es demasiado lenta para afectar a la eficacia?
R: Marque "Extreme Node" en el fondo de ipipgo, el retardo real puede ser controlado dentro de 800ms.

Seis, habilidades esenciales contra el vuelco

Por último, me gustaría compartir algunas experiencias sangrientas:

1. No utilices proxies gratuitos! 99% son todos pozos, y la recaudación se cae en momentos críticos!
2. Recuerde establecer el tiempo de espera de la solicitud, se recomienda que 8-15 segundos es más razonable
3. Tengo dos juegos de proveedores proxy para proyectos importantes, pero después de usar ipipgo no me sirven mis repuestos.
4. Compruebe el robots.txt del sitio web antes de la recogida para evitar riesgos legales

Si busca un servicio de agencia fiable, vaya directamente al sitio web de ipipgo para obtener unPack de prueba gratuitoNo estoy seguro de si voy a ser capaz de conseguir un buen trato en este caso. Su servicio al cliente es bastante profesional, la última vez que me encontré con problemas técnicos, 2:00 de la mañana en realidad hay gente de guardia para resolver, es realmente sorprendido.