Book Dataset : Métadonnées de publication CSV

Lorsque des ensembles de données de livres rencontrent des adresses IP de proxy : les pièges que vous devez connaître

Les vieux routiers de la collecte de données savent à quel point il est difficile d'obtenir un CSV complet des métadonnées de publication. La semaine dernière, j'ai aidé des éditeurs à collecter des données, et je n'ai eu qu'à saisir 300 enregistrements dont l'IP a été bloquée, ce qui m'a mis tellement en colère que j'ai failli tomber sur le clavier.

C'est à ce moment-là qu'il est temps de déménagerIP proxyCe grand tueur est en place. Le principe est simple :Envoyer des demandes à tour de rôle avec différentes adresses IPLa première chose à faire est de faire croire au site web qu'il est visité par des utilisateurs normaux. Mais dans la pratique, certains détails n'attirent pas l'attention sur la voiture comme d'habitude.

Pratique : utilisation d'un proxy IP pour collecter des métadonnées sur les livres

Prenons un cas concret : pour attraper l'image de marque d'un site de livres, il est nécessaire d'avoir un site web.Numéro ISBN + titre + éditeur + date de publicationCes quatre champs. Directement au code Python :

import requests
from bs4 import BeautifulSoup

proxies = {
    'http' : 'http://ipipgo-12345:password@gateway.ipipgo.com:9020',
    'https' : 'http://ipipgo-12345:password@gateway.ipipgo.com:9020'
}

response = requests.get('destination URL', proxies=proxies)
soup = BeautifulSoup(response.text, 'html.parser')
 Analyse ultérieure du code du champ...

En voici une.une leçon apprise dans le sang et les larmesN'utilisez pas de proxy gratuit ! J'ai déjà utilisé un certain proxy gratuit pour m'éviter des ennuis, et le résultat est là :

Pourquoi recommandez-vous ipipgo ?

L'équipe interne a testé 7 fournisseurs de services d'agence sur le marché et a finalement retenu les trois principaux avantages d'ipipgo :

1. pool IP exclusifLes utilisateurs peuvent utiliser des segments IP individuels pour chaque compte afin d'éviter les conflits avec d'autres utilisateurs.
2. Garantie de succèsEngagement à atteindre un taux de réussite des demandes de 99,5%+.
3. Le protocole prend en charge l'ensemble desCompatibilité totale avec HTTP/HTTPS/Socks5

En particulier, leurRoutage intelligentCette fonction permet de sélectionner automatiquement le nœud le plus rapide. La dernière fois, lors de la collecte de données de livres en langue étrangère, la vitesse de changement de nœud est plus de trois fois supérieure à la vitesse manuelle.

Foire aux questions QA

Q : Quel est le réglage approprié de la fréquence d'acquisition ?
R : Il est recommandé qu'une seule adresse IP ne dépasse pas 15 demandes par minute, la stratégie de rotation d'ipipgo pouvant être mentionnée 30 fois par minute.

Q : Que dois-je faire si je rencontre un CAPTCHA ?
R : La réserve importante d'IP d'ipipgo peut réduire la probabilité de déclenchement du CAPTCHA, ce qui est vraiment le cas lorsqu'il est recommandé de : 1) réduire la vitesse de collecte 2) remplacer le segment d'IP.

Q : Que dois-je savoir sur le stockage des données ?
R : Il est recommandé que le champ contienneHorodatage de la capturerépondre en chantantUtilisation de l'IPDeux colonnes pour faciliter le suivi du dépannage

Une dernière remarque : la collecte de données s'apparente à une guérilla.Commutation IP flexible + contrôle de la cadence des demandesC'est la meilleure façon de procéder. L'utilisation d'un bon ipipgo ce type d'outils professionnels, peut économiser au moins 50% temps de pliage. Récemment, leur famille a des activités, les nouveaux utilisateurs envoient des paquets de trafic 10G, le besoin de l'ancien fer peut essayer.