Beautifulsoup Web Crawl : Capture de pages statiques

Un abécédaire de la collection de pages statiques que même une personne blanche peut comprendre

Récemment, beaucoup d'amis m'ont demandé comment utiliser Python pour collecter des données sur le web, en particulier le genre de pages statiques qui ne nécessitent pas de se connecter et qui peuvent être ouvertes directement pour voir le contenu. C'est facile à dire, mais il y a un gros piège - la méthodeLe site cible a constaté que vous récupérez fréquemment des données, minutes de votre IP noire !. La semaine dernière, j'aidais quelqu'un avec un outil de comparaison de commerce électronique et j'ai parfaitement résolu le problème avec le pool de proxy d'ipipgo.

Examinons d'abord le fonctionnement de base :

import requests
from bs4 import BeautifulSoup

url = 'http://目标网站.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
 Supposons que nous voulions capturer le prix d'un produit
price = soup.select('.product-price')[0].text

Ce code peut ne pas poser de problème s'il est exécuté trois ou cinq fois, mais si vous voulez collecter en masse, il déclenchera certainement la protection du site. Pour l'instant, il s'agit de l'apparence de l'IP proxy, comme si la procédure consistait à porter une myriade de "masques", de sorte que le site pense qu'il s'agit d'une personne différente lors de la visite.

Deuxièmement, l'IP proxy pourquoi est la collecte de données essentielles ?

Directement à la grande vérité :Ramper sans une IP proxy, c'est comme courir à poil.. L'IP Proxy peut vous aider à collecter des données à des fins commerciales en particulier :

J'ai déjà eu des problèmes avec les proxys gratuits, soit qu'ils étaient lents comme une tortue, soit qu'ils tombaient soudainement en panne lorsque je les utilisais. J'ai ensuite opté pour le pool de proxys commerciaux d'ipipgo, et il est évident que je me sens plus à l'aise avec les proxys gratuits.Le taux de réussite des connexions passe de 40% à 95%en particulier leurs adresses IP résidentielles dynamiques, qui sont superbement camouflées.

Troisièmement, la main pour vous apprendre à brancher l'agent dans le code

L'ajout de proxies aux requêtes est en fait très simple, il s'agit deApprendre à changer automatiquement d'adresse IP. Prenons l'exemple de l'API ipipgo :

import random

def get_proxy().
     Ici, nous la remplaçons par l'adresse de l'API fournie par ipipgo.
    proxy_list = requests.get("https://api.ipipgo.com/your-endpoint").json()
    return random.choice(proxy_list)

while True.
    try : proxy = get_proxy()
        proxy = get_proxy()
        response = requests.get(url, proxies={
            "http" : f "http://{proxy}", "https" : f "http://{proxy}",
            "https" : f "http://{proxy}"
        }, timeout=10)
        timeout=10)
    except Exception as e.
        print(f "IP {proxy} hanged, automatically changing to the next one")

Veillez à ajouter un mécanisme de temporisation et de réessai, car certains proxies peuvent être temporairement saccadés. L'API d'ipipgo présente l'avantage de pouvoirRetour en temps réel des procurations disponiblesIl s'agit d'un effort beaucoup moins important que de maintenir son propre pool d'adresses IP.

Quatrièmement, des cas concrets : la surveillance des prix du commerce électronique

L'année dernière, alors que j'aidais un ami à créer un système de comparaison de prix pour une plateforme de commerce électronique, je suis tombé sur le site web403 Anti-Crawl. Il a ensuite réussi à s'en sortir en utilisant le système d'IP rotatif d'ipipgo grâce aux conseils ci-dessous :

headers = {
    "User-Agent" : "Mozilla/5.0 (Windows NT 10.0) ..." faux navigateur
    "Accept-Language" : "zh-CN,zh;q=0.9" environnement chinois
}

soup = BeautifulSoup(response.text, 'lxml') for parser
data = soup.find('script', type='application/ld+json') find hidden data

Voici le point essentiel.Changement d'IP + changement d'UA pour chaque demandeL'intervalle de collecte est de 30 à 60 secondes. J'ai utilisé le pool d'adresses IP de 100 000 niveaux d'ipipgo et je l'ai fait fonctionner pendant trois mois d'affilée sans interruption.

V. Foire aux questions AQ

Q : Que dois-je faire si je rencontre toujours le CAPTCHA ?
A : la qualité de la propriété intellectuelle n'est pas bonne, changer la réserve importante de propriété intellectuelle résidentielle d'ipipgo, tout en réduisant la fréquence de la collecte.

Q：La collecte de la moitié de l'IP a été bloquée ?
R : Vérifiez que vous utilisez un proxy transparent. Le proxy Elite d'ipipgo est doté d'un cryptage HTTPS et n'est pas facilement reconnaissable !

Q : La réponse de l'agent est trop lente pour affecter l'efficacité ?
R : En cochant "Extreme Node" dans l'arrière-plan d'ipipgo, le délai réel peut être contrôlé dans les 800 ms.

Six, compétences essentielles en matière d'antirenversement

Enfin, j'aimerais partager quelques expériences sanglantes :

1. N'utilisez pas de proxies gratuits ! 99% sont tous des pits, et la collection tombe en panne à des moments critiques !
2. N'oubliez pas de définir le délai d'attente de la demande. Il est recommandé de prévoir un délai de 8 à 15 secondes.
3. J'ai deux ensembles de fournisseurs de proxy pour des projets importants, mais après avoir utilisé ipipgo, je n'ai plus besoin de mes pièces de rechange !
4. Vérifier le fichier robots.txt du site web avant la collecte pour éviter les risques juridiques

Si vous recherchez un service d'agence fiable, rendez-vous directement sur le site web d'ipipgo pour obtenir un devis.Pack d'essai gratuitJe ne suis pas sûr de pouvoir le faire. Leur service clientèle est assez professionnel, la dernière fois que j'ai rencontré des problèmes techniques, à 2 heures du matin, il y a vraiment des gens en service pour les résoudre, c'est vraiment surprenant.