Schéma XML Python : traitement des données XML par Python

La capture de données XML rencontre l'IP bloquée ? Essayez cette astuce

La semaine dernière, mon collègue Lao Zhang s'est penché sur cette question - il a écrit un script de collecte de données météorologiques qui a fonctionné pendant moins de trois heures et dont l'adresse IP du serveur a été directement bloquée. C'est le moment de proposer notreméthode de l'IP proxyEn haut !

import requests
from xml.etree import ElementTree

proxies = {
    'http' : 'http://username:password@gateway.ipipgo.com:9020', 'https' : 'http://username:password@gateway.ipipgo.com:9020'
    'https' : 'http://username:password@gateway.ipipgo.com:9020'
}

response = requests.get('http://data.example.com/weather.xml', proxies=proxies)
xml_data = ElementTree.fromstring(response.content)

Regardez la section du code concernant les paramètres du proxy, ici nous utilisons celui fourni par ipipgo.Agents résidentiels dynamiques. Leur pool d'IP est mis à jour quotidiennement avec plus de 200 000 adresses fraîches, soit plus de 10 fois plus stable que les proxys publics. N'oubliez pas de remplacer le nom d'utilisateur et le mot de passe par vos propres identifiants enregistrés sur le site web d'ipipgo.

L'analyse XML rencontre le CAPTCHA ? Rotation des mandataires

De nombreux sites enterrentun piège anti-reptilescomme c'est le cas ici :

Avec ipipgo.Modèle de rotation intelligentLeur API peut également spécifier un positionnement au niveau de la ville, par exemple, pour capturer des données XML limitées à une région, sélectionner directement la région correspondante du nœud d'exportation.

Cas pratique : utilisation d'un proxy IP pour capturer des informations logistiques

J'ai récemment aidé une société de commerce électronique à mettre en place un système de suivi logistique, dont le code de base ressemble à ceci :

from itertools import cycle
import xmltodict

ip_pool = [
    
    'gateway.ipipgo.com:9021', 'gateway.ipipgo.com:9022', 'gateway.ipipgo.com:9022'
    'gateway.ipipgo.com:9022'
]

proxy_cycler = cycle(ip_pool)

def fetch_logistics(tracking_num).
    current_proxy = next(proxy_cycler)
    proxies = {'https' : f'http://user:pass@{current_proxy}'}

    try.
        response = requests.get(f'https://logistics.com/api?num={tracking_num}',
                              proxies=proxies, timeout=8)
        return xmltodict.parse(response.text)
    except Exception as e.
        print(f "Exception de demande d'IP {current_proxy}, commutation automatique")
        return fetch_logistics(tracking_num)

Ce programme utilise le logicielProxies statiques de longue duréeIl peut être utilisé pendant plus de 24 heures sur une seule IP. Il convient particulièrement aux interfaces XML qui doivent maintenir des sessions, telles que les plates-formes de données gouvernementales avec authentification par cookie.

Les pièges les plus courants pour les débutants en assurance qualité

Q : Le délai d'attente de l'adresse IP du proxy s'écoule-t-il lorsque je l'utilise ?
R : 80% utilise un proxy gratuit, le proxy de qualité commerciale d'ipipgo utilise par défaut unmécanisme de reconnexion automatiqueLe réseau changera intelligemment de ligne en cas de fluctuations du réseau.

Q：Lors de l'analyse d'un fichier XML, je reçois toujours un message indiquant que les données sont incomplètes ?
R : Il se peut que la vitesse IP ne soit pas suffisante pour provoquer une interruption de la transmission. Dans la console ipipgo, changez le type de proxy encanal à grande vitesseLa vitesse de téléchargement peut être multipliée par trois dans la réalité.

Q : Que se passe-t-il si je dois traiter plusieurs fichiers XML en même temps ?
R : Utiliser leurPaquet multithreadingSi vous souhaitez utiliser la bibliothèque lxml au lieu de la bibliothèque standard, vous pouvez utiliser la bibliothèque lxml pour analyser plus efficacement.

Une dernière mise en garde : ne vous contentez pas de regarder le prix d'un service de procuration, celui d'ipipgo.Transmission cryptée bidirectionnellerépondre en chantantl'en-tête de la requête se fait passer pourCette fonction permet d'éviter la détection anti-escalade du 90%. Une fois que j'ai oublié d'ouvrir ces fonctions, 10 minutes ont été bloquées 20 IP, leçon de larmes de sang ah !