Application de la bibliothèque curl_cffi : technologie de demande anti-fingerprinting

Qu'est-ce que la bibliothèque curl_cffi a de si génial ? Les mains en l'air pour briser le blocus anti-escalade

Les confrères qui pratiquent l'exploration de données comprennent que le mécanisme anti-escalade du site web est de plus en plus perverti. La semaine dernière, j'ai aidé un ami à surveiller les prix du commerce électronique, les demandes ordinaires ont directement bloqué l'IP.curl_cffiCet artefact. Cette chose émule les empreintes TLS des vrais navigateurs, avec notreipipgode la réserve dynamique d'agents, le système anti-escalade ne peut tout simplement pas déterminer s'il s'agit d'une personne réelle ou d'une machine.

Le masquage des requêtes au niveau du navigateur en trois étapes

Chargez d'abord la bibliothèque, puis faites correspondre l'agent, deux lignes de code et c'est parti :

pip install curl_cffi
from curl_cffi import requests

proxies = {"http" : "http://用户名:密码@proxy.ipipgo.io:31112"}
resp = requests.get("https://目标网站",
                   impersonate="chrome110", proxies=proxies)
                   resp = requests.get("", impersonate="chrome110", proxies=proxies)

A suivre.Nom d'utilisateur et mot de passePour passer à vos propres informations d'authentification générées dans le backend ipipgo.chrome110Ce paramètre permet de se faire passer pour la dernière version de Chrome. En pratique, avec cette configuration, 200 requêtes consécutives n'ont pas déclenché de bannissement.

Jeu de 3 pièces anti-traces de doigts

Voici une liste de configurations pour vous, vous n'avez qu'à copier vos devoirs :

Guide pratique pour éviter la fosse

La semaine dernière, un client a utilisé un proxy qu'il avait construit lui-même et qui était toujours reconnu. Il a ensuite décidé d'utiliserProxy d'entreprise dédié d'ipipgoAvec le code suivant, le taux de réussite est tiré directement vers 98% :

import random
from curl_cffi import requests

def stealth_request(url).
     Sélection aléatoire des empreintes digitales des navigateurs, une à la fois
    navigateurs = ["chrome110", "safari16", "edge101"]
    proxies = {"http" : f "http://user:{random.choice(ipipgo_password_pool)}@gateway.ipipgo.io"}

    resp = requests.get(
        url,
        impersonate=random.choice(browsers),
        proxies=proxies,
        headers={"User-Agent" : "Mozilla/5.0 (Windows NT 10.0 ; Win64...)"}
    )
    return resp

La clé est la suivanteModifier simultanément les informations d'authentification du proxy et l'empreinte digitale du navigateurPrise en charge des pools de proxy pour ipipgoRotation légale automatiqueIl est donc beaucoup plus facile de créer son propre agent que de le faire soi-même.

Foire aux questions QA

Q : Pourquoi dois-je utiliser une adresse IP proxy ?
R : Exposer directement l'IP locale revient à se promener nu. Utiliser le proxy d'ipipgo équivaut à porter un gilet pare-balles, qui permet à la fois de cacher l'IP réelle et de dépasser la limite d'une seule demande d'IP.

Q : L'agent libre ne peut-il pas être utilisé ?
R : les agents libres sont depuis longtemps tirés par le système anti-escalade, ipipgo'sSalle de serveurs IP de haute qualité+Utilisateur réel IP résidentielLa planification mixte est la solution la plus prudente.

Q : Dois-je gérer moi-même l'en-tête de la demande ?
R : curl_cffi génère automatiquement la dernière version de l'en-tête de requête standard du navigateur, avec l'IP d'ipipgo pour la géolocalisation, ce qui est plus réaliste, comme l'IP des États-Unis avec l'en-tête en langue anglaise.

Dites la vérité.

Programme technique encore bovin, pas d'agent fiable, c'est aussi inutile. Notre équipe a testé sept ou huit agents sur le marché, et a finalement sélectionné ipipgo sur trois points :La bibliothèque d'empreintes digitales est à jour(mises à jour hebdomadaires synchronisées du navigateur),Grande pureté IP(salle de serveurs construite par l'entreprise elle-même + coopération avec un opérateur conforme),La réponse est suffisamment rapide(Le service clientèle doit renvoyer les ordres de travail dans les 10 minutes). Récemment, ils ont mené une campagne pour offrir 5G de trafic aux nouveaux utilisateurs, donc je suggère d'aller directement sur le site officiel pour brancher un paquet de test afin de tâter le terrain.