Comment crawler des sites web avec Python : Tutoriel pour débutants

Pratique de l'utilisation de Python pour saisir des données sans les bloquer

Récemment, beaucoup d'amis m'ont demandé d'utiliser Python pour escalader le site web dont l'IP est toujours bloquée, comment faire ? Aujourd'hui, nous allons nous pencher sur cette question. Pour dire les choses crûment, le site est comme un gardien de la communauté, voir les étrangers viennent toujours à la porte va tirer la liste noire. Cette fois, vous devez apprendre"Changement d'armurec'est-à-dire se déguiser avec une IP proxy.

demandes d'importation
à partir d'un choix d'importation aléatoire

 Pool de proxies de ipipgo
proxies_pool = [
    
    {"http" : "http://45.67.89.12:3128"}, ...
     ... Plus de proxies fournis par ipipgo
]

url = 'https://目标网站.com'

try.
    response = requests.get(
        url, proxies=choix(proxies_pool), proxies.get(
        proxies=choix(proxies_pool),
        timeout=10
    )
    print(response.text)
except Exception as e.
    print(f "Crawl failed, try another IP : {str(e)}")

Comment utiliser une IP proxy pour être fiable ?

Il y a ici trois points clés sur lesquels il est facile de s'appuyer :

Un exemple concret : un ami qui fait des comparaisons de prix échoue toujours avec des proxies gratuits. Il a opté pour ipipgo.Agents résidentiels dynamiquesUne fois l'efficacité de la collecte directement doublée, la clé de la réserve d'adresses IP des citoyens, mise à jour chaque jour de dix millions d'adresses IP, ne peut tout simplement pas être épuisée.

Le temps de l'AQ : Questions fréquemment posées par les débutants

Q : Le proxy IP coûte-t-il de l'argent ? Est-ce que la version gratuite fonctionne ?
R : Vous pouvez utiliser le service gratuit pour de petites quantités à court terme, mais pour des projets sérieux, il est recommandé d'utiliser le service payant d'ipipgo. Leur taux de survie des IP peut atteindre 95% ou plus, ce qui est beaucoup plus facile que de les jeter soi-même.

Q : Pourquoi le code ne fonctionne-t-il pas et ne signale-t-il pas d'erreurs ?
R : 80% sont des échecs d'IP, n'oubliez pas d'ajouter la gestion des exceptions dans le code. L'API d'ipipgo peut également détecter l'état de l'IP en temps réel, utilisez leur interface pour obtenir un taux de réussite de l'IP plus élevé.

Conseils pratiques et astuces

1) Avant chaque demande, vérifiez si l'IP est valide, vous pouvez le faire :

def check_proxy(proxy).
    try.
        requests.get('http://httpbin.org/ip',
                    requests.get('', proxies=proxy, timeout=5)
                    timeout=5)
        return True
    except : requests.get(''), proxies=proxy, timeout=5
        return False

2) Ne paniquez pas lorsque vous rencontrez un captcha, utilisez la méthode d'ipipgo.Agents à forte valeur ajoutée+Combinaison aléatoire de têtes UA, testée pour contourner le contre-crawl de 90%

3. il est recommandé d'utiliser leur API pour obtenir l'IP de manière dynamique, exemple de code :

import ipipgo En supposant que c'est leur SDK

def get_fresh_ip().
    client = ipipgo.Client(api_key="votre clé")
    return client.get_proxy(type='http')

Pourquoi recommandez-vous ipipgo ?

Il ne s'agit pas d'une publicité ! La comparaison avec le monde réel révèle :

• Le temps de réponse est 2 à 3 fois plus rapide que les autres
• Il existe des paquets IP spéciaux anti-blocage
• Soutenir le paiement par répartition sans gaspillage

L'essentiel est que leur domicileTemps de survie IPElle est particulièrement longue, contrairement à certains fournisseurs de services qui vous donnent une IP qui sera inutilisable en quelques minutes. La dernière fois que j'ai aidé un client à faire de la veille sur l'opinion publique, il a fonctionné pendant une semaine sans être bloqué, donc j'ai deux pinceaux.

Enfin, je voudrais dire : bien que le crawler soit bon, ne soyez pas trop gourmand ! Contrôlez la fréquence de collecte, avec une IP proxy fiable, afin d'obtenir les données sur le long terme. Ce qui n'est pas compris, bienvenue dans la section commentaires nagging ~ !