Requêtes Python pour obtenir du JSON : traitement des données de l'API

A. Pourquoi les données du crawl sont-elles toujours extraites ? Essayez cette méthode

Les personnes engagées dans la collecte de données de l'ancien fer à repasser ont certainement rencontré une telle situation : l'utilisation de la bibliothèque de requêtes vient de saisir deux pages de données, l'adresse IP sur le site cible hors de la petite maison noire. À ce stade, ne vous empressez pas d'écraser le clavier.IP proxyC'est votre planche de salut ! C'est comme jouer à un jeu et ouvrir un petit numéro, changer de gilet et continuer à travailler.

Par exemple, certains sites de commerce électronique ont un mécanisme anti-escalade qui permet aux voleurs d'accéder à la même adresse IP une douzaine de fois de suite pour déclencher l'alarme. À ce moment-là, si vous utilisez le pool de proxy dynamique d'ipipgo, à chaque demande d'une nouvelle IP d'exportation, l'autre serveur ne peut pas distinguer les personnes réelles ou les procédures, naturellement, vous ne serez pas bloqué.

importation de requêtes
from itertools import cycle

 Liste des proxies fournis par ipipgo (exemple)
proxies = [
    "http://user:pass@gateway.ipipgo.com:30001",
    "http://user:pass@gateway.ipipgo.com:30002".
    "http://user:pass@gateway.ipipgo.com:30003"
]
proxy_pool = cycle(proxies)

for page in range(1, 50) : current_proxy = next(proxy_pool)
    current_proxy = next(proxy_pool)
    current_proxy = next(proxy_pool)
        resp = requests.get(
            "https://api.example.com/data",
            proxies={"http" : current_proxy}, timeout=10
            timeout=10
        )
        print(resp.json())
    except Exception as e.
        print(f "Rollover with {current_proxy} :", str(e))

Deuxièmement, la configuration IP du proxy des trois fosses, 90% newbies ont été plantés

1. Omission d'informations d'authentificationLe proxy ipipgo doit remplir le nom d'utilisateur et le mot de passe, le format est le suivant : " Le proxy ipipgo doit remplir le nom d'utilisateur et le mot de passe, le format est le suivant : " Le proxy ipipgo doit remplir le nom d'utilisateur et le mot de passe.http://用户名:密码@GatewayAddress:Port

2. Délai d'attente mal régléCertains nœuds proxy peuvent être lents à répondre, sans le paramètre de délai, le programme sera bloqué. Il est recommandé de fixer un délai de 5 à 15 secondes en fonction des besoins de l'entreprise.

3. Manque de gestion des exceptionsLes requêtes réseau sont intrinsèquement instables, en particulier lors de l'utilisation de proxys, et il est important d'effectuer un bon travail de réessai des erreurs. Il est recommandé d'utiliser le décorateur retry pour implémenter le mécanisme de relance automatique.

Troisièmement, compétences pratiques en matière de traitement des données JSON

Après avoir récupéré les données JSON renvoyées par l'API, ne vous empressez pas de les stocker directement dans la base de données. Procédez d'abord à plusieurs traitements :

1. Nettoyage des donnéesLes champs clés : L'extraction des champs clés avec jsonpath est beaucoup plus facile que l'analyse manuelle. Par exemple, il est plus facile d'extraire les champs clés avec jsonpath que de les analyser manuellement.$...prixPossibilité d'extraire rapidement tous les prix

2. Filtrage des valeurs aberrantesLes données doivent être enregistrées et ignorées en cas de valeurs nulles ou de données mal formatées.

from jsonpath_ng import parse

def process_data(json_data).
     Extraire le nom du produit et le prix
    nom_expr = parse('$..nomduproduit')
    prix_expr = parse('$..prix')

    résultats = []
    for match in name_expr.find(json_data) :
        product = {'name' : match.value}
        correspondance_de_prix = correspondance_de_prix.find(json_data)
        si correspondance_de_prix.
            product['price'] = float(price_match[0].value)
        results.append(product)
    retourner les résultats