Python Site Crawler : cadre de collecte de données sur l'ensemble du site

Tout d'abord, pourquoi le crawler est-il toujours bloqué ? Comprendre d'abord la porte

Do crawl brother understand, hard work to write the script running suddenly stopped. Le plus courant est que le site vous donne un403 InterditOu bloquez simplement votre IP pour que vous ne puissiez même pas entrer chez vous. C'est comme aller au supermarché et goûter trop de nourriture, les agents de sécurité vous arrêteront certainement.

Il s'agit là d'un point essentiel :Demandes fréquentes à partir d'une seule adresse IPTout comme la même personne qui entre et sort à plusieurs reprises de la porte du supermarché, qui n'est pas observée, mais seulement étrange. Cette fois-ci, vous avez besoin d'une IP proxy pour agir comme un "acteur de substitution", de sorte que le site ait l'impression qu'il s'agit à chaque fois d'un visiteur différent.

Deuxièmement, comment choisir l'IP proxy ? Rappelez-vous les trois puits

Il existe toutes sortes de services d'agence sur le marché, mais peu d'entre eux sont fiables. J'y ai eu recours.ipipgoous savons tous que la sélection des agents doit tenir compte de ces trois éléments :

1. durée de survie : n'utilisez pas ces 5 minutes pour expirer les adresses IP à courte durée de vie.
2. emplacement géographique : en fonction du site cible, choisir la région, par exemple les données de commerce électronique avec l'adresse IP du lieu d'expédition
3. prise en charge du protocole : https doit être présent, certains sites anciens doivent également préparer socks5.

Pour donner un exemple, j'ai récemment aidé un ami à récupérer les données d'une certaine plateforme de vêtements, en utilisant le logicielipipgoL'IP résidentielle dynamique, chaque heure, change automatiquement plus de 500 IP, soit plus de 100 000 informations sur les produits de base.

Troisièmement, le cadre pratique de la construction : la main pour vous apprendre à assembler

En voici un pour votre usage personnelarchitecture en trois partiesIl convient aux projets de petite et moyenne envergure :

demandes d'importation
à partir d'un choix d'importation aléatoire

 Interface API fournie par ipipgo
IP_API = "https://api.ipipgo.com/get?format=json"

def get_proxy() :
    resp = requests.get(IP_API).json()
    return f"{resp['protocol']}://{resp['ip']}:{resp['port']}"

proxies = {
    'http' : get_proxy(),
    'https' : get_proxy()
}

response = requests.get('destination URL', proxies=proxies, timeout=10)

Notez l'ajout d'unMécanisme de rappel des exceptionsqui change automatiquement lorsqu'il rencontre une adresse IP non valide. Il est recommandé d'utiliseripipgo(utilisé comme expression nominale)forfait de paiement à l'utilisationIl s'agit d'une solution beaucoup plus économique qu'un abonnement mensuel, et particulièrement adaptée à ce scénario où vous devez ajuster la taille à tout moment.

Quatrièmement, compétences avancées : faire vivre le crawler comme une personne réelle

Il ne suffit pas de changer d'adresse IP, il faut apprendrecamouflage: :

Il y a eu un cas précédent : un site web de voyage a utilisé un tracé de souris pour détecter les bots, qui a ensuite été utilisé dans le cadre de l'affaireipipgoLe groupe d'adresses IP est ajouté au groupe d'adressesPlugin de simulation de trajectoireLe taux de réussite des acquisitions est passé directement de 40% à 90%.

V. Foire aux questions AQ

Q：Que dois-je faire si mon IP proxy ne fonctionne pas lorsque je l'utilise ?
A : Recommandéipipgo(utilisé comme expression nominale)Interface de détection en temps réelLes IP du pool sont toutes des poissons vivants, et les IP non valides sont automatiquement éliminées toutes les minutes.

Q : Que dois-je faire si je rencontre un CAPTCHA ?
R : Ne vous contentez pas d'un effort, mais mettez en œuvre deux programmes : 1. réduire la fréquence des demandes 2. sur la plate-forme de codage. Il est recommandé de donner la priorité au programme 1, après toutipipgoLe nombre d'adresses IP est suffisamment important pour qu'il soit plus rentable d'étaler les demandes.

Q : Comment contrôler les coûts lorsqu'il y a une grande quantité de données ?
A : Bien l'utiliseripipgo(utilisé comme expression nominale)Fonction d'avertissement d'utilisation, définir le seuil de la pause automatique. Activez également le mode de réutilisation de l'IP, une IP de qualité peut être réutilisée 3 à 5 fois.

Sixièmement, dites quelque chose de sincère

Un truc à chenilles, comme une guérilla. L'année dernière, pour aider un site de comparaison de prix à faire de la collecte, j'ai changé trois agents pour me stabiliser. En fin de compte, j'ai utiliséipipgo(utilisé comme expression nominale)IP d'entreprise exclusiveNon seulement le taux de réussite est stable à plus de 98%, mais la clé est un support technique solide, et vous pouvez trouver quelqu'un au milieu de la nuit si quelque chose ne va pas.

Rappelez-vous que l'IP proxy n'est pas une panacée, vous devez coopérer avec la stratégie anti-crawl pour obtenir deux fois plus de résultats avec deux fois moins d'efforts. Il est recommandé aux débutants de commencer paripipgo(utilisé comme expression nominale)paquet d'essaiCommencez par vous familiariser avec le système avant de vous lancer, n'achetez pas d'emblée l'offre la plus chère, il est facile de payer sa cotisation.