BeautifulSoup Crawl Website : BeautifulSoup Proxy Crawl

Le Crawler est toujours bloqué, essayez d'utiliser un proxy pour protéger BeautifulSoup !

Les confrères engagés dans la capture de données doivent comprendre que l'utilisation de BeautifulSoup pour analyser le contenu web, bien que douce, mais le site cible direct est facile à manger la porte. D'autant plus que de nombreux sites web ont maintenant installéSystème intelligent de contrôle des risquesSi vous avez une adresse IP proxy, vous pouvez l'utiliser comme doublure, surtout si vous avez une adresse ip proxy de haute qualité comme ipipgo. En ce moment, vous avez besoin d'un proxy ip pour être votre acteur de substitution, surtout comme ipipgo ce genre de fournisseur de service spécialisé dans le proxy de haute qualité, peut certainement vous permettre d'aller beaucoup moins de détours.

Des reptiles dans des gilets de protection

Tout d'abord, préparez un pool de proxy ip qui peut être utilisé, ici prenez directement le proxy HTTP d'ipipgo comme démonstration. Le format de leur proxy ressemble à ceci :
123.123.123.123:8888:username:password

import requests
from bs4 import BeautifulSoup

proxies = {
    'http': 'http://username:password@123.123.123.123:8888',
    'https': 'http://username:password@123.123.123.123:8888'
}

response = requests.get('https://目标网站.com', proxies=proxies)
soup = BeautifulSoup(response.text, 'html.parser')
 C'est ici que vous continuez vos opérations d'analyse...

Veillez à mettreNom d'utilisateurrépondre en chantantmot de passeRemplacez-la par les informations d'authentification que vous avez obtenues dans le backend ipipgo. Il est recommandé d'écrire la configuration du proxy dans un fichier de configuration séparé, de sorte que vous n'ayez pas à modifier le code partout dans le monde lorsque vous voulez changer d'adresse IP.

Ne paniquez pas lorsque vous rencontrez un CAPTCHA, proxy ip a une bonne astuce.

Certains sites trouvent un accès inhabituel et affichent un code de vérification. Cette fois, vous pouvez faire deux choses avec l'ip proxy :

1. Réessayer la demande avec une autre adresse IP
2. Réduire la fréquence des visites à un seul point d'entrée

Donnez un exemple concret :

import random
from time import sleep

ip_list = ipipgo.get_proxy_list() Ceci appelle l'API ipipgo pour obtenir le dernier pool d'adresses IP.

for page in range(1, 100) : current_proxy = random.choice(ip_proxy_list)
    current_proxy = random.choice(ip_list)
    try : current_proxy = random.choice(ip_list)
        response = requests.get(url, proxies=current_proxy)
        if 'CAPTCHA' in response.text : print(f "IP {current_proxy}")
            print(f "L'IP {proxy_courant} est restreinte, passe automatiquement à la suivante")
            continuer
         Flux d'analyse normal...
    except Exception as e : print(f "L'IP {current_proxy} est restreinte.
        print(f "Erreur : {str(e)}")
    sleep(random.uniform(1,3)) Attente aléatoire d'un blocage.

Comment choisir un fournisseur de services proxy de qualité ?

Kit de premiers secours pour les fêtes de reptiles

Q : Que dois-je faire si l'IP proxy ne parvient soudainement pas à se connecter ?
R : Vérifiez d'abord que le format du proxy n'est pas correct, en particulier le numéro de port et le mot de passe, il n'y a pas d'erreur. ipipgo surveille en arrière-plan la disponibilité en temps réel, a constaté que l'IP anormale peut être directement dans le centre de l'utilisateur en un seul clic.

Q : Comment puis-je tester la vitesse réelle du proxy ?
R : Utilisez ce script pour mesurer la latence :

import datetime

start = datetime.datetime.now()
requests.get('http://测试网站', proxies=proxies)
cost = (datetime.datetime.now() - start).total_seconds()
print(f "La réponse du proxy actuel a pris : {cost :.2f} secondes")

Q : Que se passe-t-il si je dois gérer un grand nombre d'agents en même temps ?
R : ipipgo fournit une interface API qui peut être directement intégrée dans le système d'exploration. Elle permet de filtrer les adresses IP par région et par opérateur, et peut également définir la fréquence de remplacement automatique.

Dites quelque chose qui vient du cœur.

Au début de l'utilisation du proxy ip à ce moment-là, j'ai également marché sur beaucoup d'embûches, jusqu'à ce que l'utilisation d'ipipgo découvre qu'un bon proxy peut vraiment doubler l'efficacité du crawler. LeurAgents résidentiels dynamiquesParticulièrement adapté à la nécessité de mener des projets de données à long terme, avec BeautifulSoup pour faire de la capture de contenu fondamentalement n'a pas manqué une main. Récemment, le site officiel de BeautifulSoup a mis en place de nouvelles activités pour les utilisateurs, le premier single peut jouer à 7%, il y a un besoin pour les frères d'essayer de récolter de la laine.