Proxy IP pour le crawling web Python : Intégration du proxy IP pour le crawler Python

Apprentissage pratique de l'utilisation de Python+Proxy IP pour la collecte de données

Les confrères engagés dans les crawlers comprennent que le mécanisme anti-escalade des sites web devient de plus en plus impitoyable. La semaine dernière, un ami du commerce électronique et moi-même avons vanté les mérites de Python pour capturer les données sur les prix, les résultats n'ont duré qu'une demi-heure et l'adresse IP a été bloquée à mort. Cette fois, il est temps de sacrifier le grand tueur -IP proxyEn effet, cette chose est comme une cape d'invisibilité sur un reptile.

Comment fonctionne réellement le proxy IP ?

En termes simples, un proxy IP est un intermédiaire. Supposons que vous souhaitiez visiter un site web, connectez-vous d'abord au serveur proxy d'ipipgo, utilisez leur adresse IP pour visiter, de sorte que l'autre site pour voir l'IP réelle n'est pas votre machine locale. C'est comme si vous alliez au supermarché pour acheter des cigarettes, et que votre voisin Wang vous aidait à acheter, le caissier ne se souviendra que de l'apparence de Wang.

demandes d'importation

proxies = {
    'http' : 'http://username:password@gateway.ipipgo.com:9020',
    'https' : 'http://username:password@gateway.ipipgo.com:9020'
}

response = requests.get('http://目标网站.com', proxies=proxies)

Le code ci-dessus est la configuration la plus basique du proxy, notez que vous devez remplacer le nom d'utilisateur et le mot de passe par les informations d'authentification que vous obtenez dans l'arrière-plan d'ipipgo. Leurs proxys sontIP résidentielle dynamiquerépondre en chantantIP statique de la salle des serveursDeux paquets, pour faire de la capture de données, il est recommandé de choisir dynamique, le pool d'IP est plus grand et plus sûr.

Éviter les trois pièges des IP par procuration

1. Temps de survie IPCertains proxys bon marché prétendent avoir des millions de pools d'IP, mais en réalité chaque IP ne peut être utilisée que pendant 2 à 3 minutes. Les proxys exclusifs d'ipipgo peuvent le faire !Ligne stable de 30 minutes sans arrêtLes données sont suffisantes pour effectuer des tâches complexes de collecte de données.

2. fuite de l'en-tête de la demandeNe pensez pas que l'utilisation d'un proxy est suffisante, n'oubliez pas d'ajouter un User-Agent aléatoire à votre code, et voici une façon astucieuse de le faire, en appelant la fonctionDéguisement de l'empreinte digitale du navigateuret vous épargner la peine de le jeter.

3. Réglage du délai de connexionIl est recommandé d'ajouter un paramètre de temporisation aux demandes, de sorte que lorsque vous rencontrez un proxy bloqué, vous puissiez changer à temps. Le test réel avec ipipgo a ensuite fixé un délai de 5 secondes suffisant, leur vitesse de réponse dans l'industrie est considérée comme le premier niveau.

Conseils pratiques : La grande méthode de rotation de la propriété intellectuelle

Il faut apprendre à composer avec un système anti-crawl particulièrement strict.Commutation automatique de l'IPLa méthode suivante est recommandée pour obtenir des serveurs mandataires de manière dynamique. Nous recommandons d'utiliser l'API d'ipipgo pour obtenir dynamiquement des serveurs mandataires, ce qui est encore mieux avec le module retrying de Python :

from retrying import retry
import random

def get_proxy().
     Appelle l'API ipipgo pour obtenir les derniers proxys.
    proxy_list = requests.get('https://api.ipipgo.com/dynamic').json()
    return random.choice(proxy_list)

@retry(stop_max_attempt_number=3)
def crawl_page(url) : current_proxy = get_proxy
    current_proxy = get_proxy()
    try.
        return requests.get(url, proxies=current_proxy, timeout=8)
    except.
        print(f "L'IP {current_proxy} est en panne, passez à la suivante !")
        raise

Foire aux questions QA

Q : Que dois-je faire si j'utilise un proxy et que je suis toujours bloqué ?
R : Vérifiez d'abord que la fréquence de la demande n'est pas trop élevée, il est recommandé de la contrôler entre 3 et 5 secondes / fois. Si cela ne fonctionne pas, contactez le service clientèle d'ipipgo afin d'ouvrir la fenêtre de contrôle.Agents à forte valeur ajoutéepour masquer complètement les caractéristiques des robots d'indexation.

Q : La lenteur de la vitesse IP du proxy affecte-t-elle l'efficacité ?
A : Ouvrir dans le backend d'ipipgoRoutage intelligentLe système attribue automatiquement le nœud le plus proche. La latence mesurée peut être réduite à 60% ou plus, que le pool de proxy auto-construit pour économiser beaucoup d'ennuis.

Q : Comment facturer la grande quantité de données que je dois saisir ?
A : Leur maisonpaquets de traficIl est moins cher que la facturation par IP 40% et convient pour un crawling stable à long terme. Le premier enregistrement envoie également un trafic de test de 20G, suffisant pour exécuter un petit projet pour tester l'eau.

Pourquoi ipipgo ?

Enfin, pour être honnête, j'ai comparé sept ou huit services proxy sur le marché, et ipipgo a trois défauts majeurs :

Récemment, ils ont eu uneOutil de test de stress pour Proxy IPIl permet de simuler des scénarios à forte concurrence pour détecter la qualité de la propriété intellectuelle. Il est recommandé d'utiliser cet outil avant de s'engager formellement, plutôt que de se lancer aveuglément dans le projet, qui est beaucoup plus fiable.