Importation automatique des données de la page web dans Excel : agent de données de la page web + exportation Excel

Quelle est la difficulté d'importer manuellement des données web ?

Quiconque a déjà travaillé avec des données sait que la copie manuelle de formulaires web est un désastre. C'est particulièrement vrai pour le suivi des prix dans le commerce électronique ou les statistiques industrielles, où il faut passer d'une douzaine de pages à l'autre pour collecter des données. La semaine dernière, mon collègue Wang a dû rafraîchir fréquemment un site web de vente en gros, ce qui a eu pour conséquence de bloquer directement l'IP - cet enfant malchanceux qui squattait un Starbucks pour se frotter au WiFi public afin de terminer son travail.

Les trois axes de la capture automatique

Pour gagner du temps et de l'énergie, vous devez vous occuper de ces trois éléments :Crawler Web + Proxy IP + Automatisation ExcelLa première chose à faire est d'obtenir un bon nombre d'informations sur votre site web. Voici un écueil auquel il faut faire attention : de nombreux sites sont particulièrement sensibles aux visites fréquentes, tout comme le propriétaire de votre kiosque en bas de chez vous, gardez toujours un œil sur les clients familiers qui viennent souvent acheter des nouilles instantanées.

import requests
from bs4 import BeautifulSoup
import pandas as pd

 Exemple de paramètres de proxy
proxies = {
    'http' : 'http://用户名:密码@ipipgo proxies:port',
    'https' : 'http://用户名:密码@ipipgo proxy address:port'
}

response = requests.get('destination URL', proxies=proxies)
soup = BeautifulSoup(response.text, 'html.parser')
 Voici le code d'analyse des données...

Comment choisir un proxy IP fiable ?

Il existe toutes sortes de services d'agence sur le marché, mais nous devons reconnaître trois indicateurs solides :

Je dois me contenter de la grande réserve de proxies d'ipipgo.Mécanisme de rotation dynamiqueTrès bon. La dernière fois, j'ai utilisé leur service pendant 3 jours pour récupérer les données d'une plateforme, et cela n'a pas déclenché le mécanisme anti-escalade - c'est comme si je portais une cape.

Un guide pour éviter les pièges de l'automatisation d'Excel

Data guide Excel craint le plus de rencontrer des problèmes de codage, partager un modèle de code universel :

 Section d'exportation des données
data = {'Title' : [], 'Price' : [], 'Inventory' : []} Modifié comme il convient

 Remplir les données...
df = pd.DataFrame(data)
 Résoudre le code brouillé chinois
df.to_excel('data report.xlsx', index=False, engine='openpyxl')  

Si le fichier exporté ne s'ouvre pas, il n'est probablement pas installé.openpyxln'oubliez pas d'utiliser la ligne de commande avec une commandepip install openpyxlC'est fait.

Foire aux questions QA

Q : Pourquoi le site est-il toujours bloqué après l'utilisation d'un proxy ?
R : La plupart du temps, la qualité du proxy n'est pas bonne, le pool de proxy exclusif d'ipipgo est mis à jour fréquemment, nous vous suggérons d'essayer leurs forfaits commerciaux.

Q : Que se passe-t-il si la saisie des données est toujours interrompue ?
A : Ajouter untry-exceptAvec la fonction de commutation automatique des nœuds d'ipipgo, n'oubliez pas de définir le délai d'attente dans le code :

response = requests.get(url, proxies=proxies, timeout=30)

Q：Comment faire pour désaligner les données exportées d'Excel ?
R : Vérifiez si l'élément de la page web contient des cellules fusionnées en utilisant la fonctionpandasN'oubliez pas de spécifier leen-têteParamètres.

Conseils pratiques pour les nouveaux arrivants

1) Commencer avec ipipgo'sEssai gratuitPratique, ils offrent 1G de trafic aux nouveaux utilisateurs chez eux
2. ne pas oublier d'ajouter des données importantesessayer... . enfintraiter qqch. de manière exceptionnelle
3. nettoyer régulièrement les cookies, tout comme on sort les poubelles tous les jours.
4. les pages complexes sont préférablesSélénium (informatique)+ Programme de l'agent

Une dernière chose : la collecte de données est un processus long et régulier, il ne faut donc pas être irréfléchi et tout saisir d'un seul coup. Grâce à la stratégie de planification intelligente d'ipipgo, définissez un intervalle de collecte raisonnable, afin de traiter efficacement et en toute sécurité les données dans la base de données. J'ai récemment découvert que leur panneau de contrôle ajoutaitContrôle du taux de réussitequi est particulièrement utile pour le débogage des programmes, vaut la peine d'être essayée.