Cours accéléré sur le crawler BeautifulSoup : collecte de données sur le commerce électronique

Un petit blanc peut également jouer avec l'enfant à quatre pattes pour commencer la posture

Vous souhaitez travailler avec des données de commerce électronique mais vous ne savez pas programmer ? Pas de panique, utilisons les outils de programmation de Python.BeautifulSoupCet artefact est un effort à trois pattes pour commencer. Chargez d'abord ces deux-là :Demandes BibliothèqueResponsable de la capture des pages web.bellesoupe4Responsable du désassemblage des données. N'oubliez pas la commande install :

pip install requests beautifulsoup4

Par exemple, si vous souhaitez connaître le prix d'une certaine marchandise, le squelette du code est probablement long comme ceci :

import requests
from bs4 import BeautifulSoup

url = 'https://某电商网站/product/123'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
price = soup.find('span', class_='price').text
print(f'Prix actuel : {prix}')

La première chose à faire est d'utiliser une IP proxy, qui est une bouée de sauvetage !

Beaucoup de débutants tombent dans le piège de laIP bloquéA ce sujet. Les sites de commerce électronique sont tellement raffinés que la même IP fait des requêtes folles et vous met sur liste noire en quelques minutes. C'est le moment de s'appuyer suripipgoLe service proxy IP pour renouveler la vie, le principe est comme la guérilla - changer des adresses IP différentes pour chaque demande.

Mettez-le en évidence trois fois :N'utilisez pas d'agents gratuits ! N'utilisez pas de mandataires gratuits ! N'utilisez pas de mandataires gratuits !Ces appareils sont soit lents comme des escargots, soit inscrits depuis longtemps sur la liste noire des sites Web. Avec le pool de proxy exclusif d'ipipgo, chaque IP est garantie d'être fraîchement cuite.

Troisièmement, la bonne façon d'ouvrir l'IP proxy

Prenons l'exemple d'ipipgo : après avoir obtenu l'interface de l'API, il faut obtenir une nouvelle IP avant chaque demande.réglage du délai d'attenterépondre en chantantGestion des exceptionsLe code est modifié de la manière suivante :

proxies = {
    'http' : 'http://用户名:密码@ipipgo proxy address:port',
    'https' : 'http://用户名:密码@ipipgo proxy address:port'
}

try.
    response = requests.get(url, proxies=proxies, timeout=10)
except Exception as e.
    print(f'Request failed, change to next IP : {str(e)}')

Quatrièmement, le combat proprement dit : saisir les détails du produit

Examinez la structure d'une page de commerce électronique et utilisez l'outil de développement (F12) pour trouver les balises HTML correspondant au prix, à l'inventaire et à d'autres données. Par exemple, trouvez le prix caché dans la balise<div class="”product-price”">Le code y est écrit comme suit :

price_tag = soup.select_one('div.product-price')
if price_tag.
    prix_actuel = prix_tag.text.strip().replace('¥','')
else : prix_actuel = prix_tag.text.strip('¥',')
    print('L'étiquette de prix peut être réorganisée!')

N'oubliez pas d'utiliserhibernation aléatoire(time.sleep(1~3 seconds)) pour simuler le fonctionnement d'une personne réelle, ne glissez pas sauvagement comme un robot.

v. guide des problèmes courants de déminage

Q：Que dois-je faire si l'IP proxy ne se connecte soudainement pas ?
R : Vérifiez d'abord que le mot de passe du compte est correct, puis essayez d'envoyer manuellement un ping à l'adresse du proxy. Si ipipgo affiche une adresse IP normale en arrière-plan, il peut s'agir d'une interruption temporaire du site web cible.

Q：La capture des données en retour est désordonnée ?
R : Dans requests.get(), ajoutezresponse.encoding = 'utf-8'ou ajusté en fonction du jeu de caractères dans le code source de la page.

Q : Comment puis-je savoir si une procuration est en vigueur ?
R : Visitez https://httpbin.org/ip pour voir si l'adresse IP renvoyée est une adresse proxy.

VI. avantages cachés de l'ipipgo

Ils ont une famille.Commutation intelligenteLes fonctionnalités sont assez simples et il change automatiquement d'adresse lorsqu'il rencontre un blocage d'IP. Récemment, l'entreprise a également lancéfacturation volumétriquequi est particulièrement adapté à la collecte à petite échelle. Il est conseillé aux débutants de s'entraîner d'abord avec le paquet "expérience", puis de passer au paquet "grand trafic" lorsqu'ils se seront familiarisés avec celui-ci.

Dernière phrase lancinante : faites de la collecte de données pour parler de vertu, ne faites pas s'effondrer les sites web des autres. Contrôlez la fréquence des requêtes, ne soyez pas avare lorsque vous devez utiliser un proxy, après tout !ipipgoLes agents ne sont pas onéreux et leur interdiction constituerait une véritable perte.