Curso intensivo de rastreo BeautifulSoup: recopilación de datos de comercio electrónico

Un pequeño blanco también puede jugar con el gateador para iniciar la postura

¿Quieres trabajar con datos de comercio electrónico pero no sabes programar? Que no cunda el pánico, utilicemos las herramientas de PythonBeautifulSoupEste artefacto tiene tres patas para empezar. Cargue primero estas dos:Biblioteca de solicitudesResponsable de la captura de páginas web.beautifulsoup4Responsable de desmontar los datos. Recuerda el comando de instalación:

pip install peticiones beautifulsoup4

Por ejemplo, si desea capturar el precio de una determinada materia prima, el esqueleto del código probablemente sea largo como éste:

importar peticiones
from bs4 import BeautifulSoup

url = 'https://某电商网站/product/123'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
precio = soup.find('span', class_='precio').text
print(f'Precio actual: {precio}')

Lo primero que tienes que hacer es utilizar una IP proxy, ¡que es un salvavidas!

Muchos novatos caen enIP bloqueadaSobre este asunto. Los sitios de comercio electrónico son tan refinados que la misma IP solicita como loca y te pone en la lista negra en cuestión de minutos. Este es el momento de confiar enipipgoEl servicio proxy IP para renovar la vida, el principio es como la guerra de guerrillas - cambiar diferentes direcciones IP para cada solicitud.

Resáltalo tres veces:No utilice agentes gratuitos. No utilices proxies gratuitos. No utilice apoderados gratuitos.Esos artilugios o son lentos como caracoles o hace tiempo que están en la lista negra de los sitios web. Con el proxy exclusivo de ipipgo, cada IP está garantizada.

En tercer lugar, la forma correcta de abrir el proxy IP

Tome ipipgo como ejemplo, después de obtener la interfaz API, obtener una nueva IP antes de cada solicitud. centrarse en elconfiguración del tiempo de esperaresponder cantandoGestión de excepcionesEl código se cambia de esta manera:

proxies = {
    'http': 'http://用户名:密码@ipipgo proxies:puerto',
    https': 'http://用户名:密码@ipipgo dirección proxy:puerto'
}

try.
    response = requests.get(url, proxies=proxies, timeout=10)
except Exception as e.
    print(f'Solicitud fallida, cambiar a siguiente IP: {str(e)}')

Cuarto, el combate real: captar los detalles del producto

Apunte a la estructura de una página de comercio electrónico y utilice la herramienta de desarrollo (F12) para encontrar las etiquetas HTML de precio, inventario y otros datos. Por ejemplo, busque el precio oculto en la etiqueta<div class="”product-price”">En él, el código está escrito así:

etiqueta_precio = soup.select_one('div.producto-precio')
if etiqueta_precio.
    precio_actual = etiqueta_precio.text.strip().replace('¥','')
else: precio_actual = etiqueta_precio.text.strip('¥',')
    print('¡La etiqueta de precio puede ser renovada!')

Recuerde utilizarhibernación aleatoria(time.sleep(1~3 segundos)) para simular el funcionamiento de una persona real, no pase el dedo salvajemente como un robot.

v. guía para el desminado de problemas comunes

Q：¿Qué debo hacer si la IP proxy de repente no se conecta?
R: Primero compruebe que la contraseña de la cuenta es correcta, y luego intente hacer ping manualmente a la dirección del proxy. Si ipipgo muestra IP normal en el fondo, puede ser un tirón temporal del sitio web de destino.

Q：¿La captura de datos de vuelta es desordenada?
R: En requests.get() añaderesponse.encoding = 'utf-8'o ajustado según el conjunto de caracteres del código fuente de la página.

P: ¿Cómo puedo saber si un poder está en vigor?
R: Visite https://httpbin.org/ip para ver si la IP devuelta es una dirección proxy.

VI. Ventajas ocultas del ipipgo

Tienen una familia.Conmutación inteligenteLas características son bastante libre de problemas, y cambia automáticamente a una nueva cuando se encuentra con un bloqueo de IP. Recientemente también saliófacturación volumétricaespecialmente adecuado para la recogida a pequeña escala. Se aconseja a los novatos que practiquen primero con el paquete de experiencia, y luego pasen al paquete de gran tráfico cuando estén familiarizados con él.

La última frase fastidiosa: haz acopio de datos para hablar de virtud, no hagas colapsar los sitios web de los demás. ¡Controlar la frecuencia de las solicitudes, no ser tacaño cuando se debe utilizar un proxy, después de todo!ipipgoLos agentes no son caros, y sería una verdadera pérdida si se prohibieran.