Documentación de Beautifulsoup: El manual oficial

Cuando Crawler se encuentra con Beautifulsoup

Participó en hermanos rastreador de red entienden que la captura de datos es más miedo de encontrarse con la compleja estructura de la página web como un laberinto. Este es el momento de sacrificar Beautifulsoup esta arma, es como un cerrajero inteligente, se puede organizar en una página web clara etiquetas. Sin embargo, no es suficiente para analizar la página, si el sitio web le da una prohibición de IP, entonces la poderosa herramienta de análisis tendrá que descansar.

importar peticiones
from bs4 import BeautifulSoup

 Recuerda sustituir los proxies de ipipgo por la siguiente configuración
proxies = {
    'http': 'http://username:password@proxy.ipipgo.com:9020',
    'https': 'http://username:password@proxy.ipipgo.com:9020'
}

response = requests.get('URL de destino', proxies=proxies)
soup = BeautifulSoup(response.text, 'html.parser')

La forma correcta de abrir una IP proxy

Muchos novatos son propensos a cometer el error de escribir direcciones IP muertas directamente en el código. Esto no sólo es fácil de ser bloqueado, sino también un desperdicio de recursos. Usar el proxy pool dinamico de ipipgo es la forma adecuada, su familia deFunción de rotación automática de IPEspecialmente bueno para largas misiones de rastreo. Recuerda los tres puntos clave:

Escollos y contramedidas en la práctica

La semana pasada, un cliente rastreó el sitio de comercio electrónico con IP ordinaria, sólo corrió durante media hora y fue bloqueado 20 IP. después de cambiar a ipipgo alto alijo de proxies, corrió durante tres días seguidos están bien. He aquí un pequeño truco: en requests.Session() en la configuración del proxy, que una sola solicitud para establecer más problemas.

session = requests.Session()
session.proxies.update({
    'http': 'http://user:pass@proxy.ipipgo.com:9020',
    https': 'http://user:pass@proxy.ipipgo.com:9020'
})

Preguntas frecuentes Botiquín de primeros auxilios

P: ¿Por qué sigue bloqueado después de usar un proxy?
R: Compruebe si está utilizando un proxy transparente, ipipgo'sAgentes High StashOcultará completamente la IP real

P: ¿Tengo que mantener mi propio grupo de IP?
R: No es necesario, la API de ipipgo puede devolver una lista de IPs disponibles, recuerda configurar el intervalo de cambio automático.

P: ¿Qué ocurre con los sitios HTTPS?
R: En la configuración del proxy se debe escribir https y http, algunos sitios se mezclarán cargando recursos

¿Por qué ipipgo?

No en vano probé 7 u 8 proveedores de agencias y al final me quedé con ipipgo. La suya.Ancho de banda dedicadoEl diseño es especialmente adecuado para proyectos que requieren conexiones estables, a diferencia de los proxies compartidos que pueden caer la línea sin moverse. ¡También hay un beneficio oculto - la respuesta de soporte técnico es super rápido, a las tres en punto en medio de la noche para elevar una orden de trabajo en realidad alguien de vuelta!

La nueva función recientemente descubierta es aún mejor: configurar directamente en el backendLista blanca de IPLa primera es que no tienes que introducir tu contraseña cada vez. Para que los proyectos se desplieguen en el servidor, la seguridad se mejora directamente en dos grados. Pero recuerde que debe actualizar periódicamente las credenciales de acceso, esto no importa cuál usted utiliza no puede ser perezoso.

La última frase persistente de la verdad: herramientas y luego el ganado también tienen que ver cómo utilizar. He visto a alguien abrir ipipgo 100 megabyte proxy, el resultado es demasiado alto debido a la frecuencia de rastreo por el sitio de destino para tirar de negro. Conjunto razonable intervalo de solicitud + proxy de calidad, es el rey de rastreo sostenible.