Astuces pour cacher les empreintes digitales des crawlers : un guide pour corriger les vulnérabilités de Canvas/WebGL

L'empreinte digitale des navigateurs est le plus grand casse-tête pour les ingénieurs des robots d'indexation

Le vieux fer à repasser engagé dans la collecte de données aurait dû s'engager dans cette voie - changer évidemment l'IP, effacer les cookies, le site cible peut encore identifier avec précision le crawler. Il s'agit là de 80 % des problèmes liés à l'empreinte digitale des navigateurs, en particulier Canvas et WebGL, les deux domaines les plus touchés. Tout comme vous allez au supermarché en portant un masque, les résultats des gens à travers votre posture de marche pour reconnaître le même, le site peut être à travers le modèle de carte graphique, la précision de rendu de ces caractéristiques matérielles pour verrouiller l'appareil.

Analyse des fuites d'empreintes de toile

En fait, lorsque votre crawler visite un site web, le navigateur exécute silencieusement ce code JS :

var canvas = document.createElement('canvas') ;
var ctx = canvas.getContext('2d') ;
ctx.fillStyle = 'rgb(160,160,160)' ; var ctx.fillRect(0,100,100,100)
ctx.fillRect(0,0,100,100) ; ctx.

Ces quelques lignes de code suffisent à générerHachure graphique unique au mondeL'effet de rendu des appareils dotés de différents pilotes de carte graphique et de différentes versions de système d'exploitation est légèrement différent. L'année dernière, un client a utilisé un seul serveur pour accrocher 200 IP proxy afin de capturer des données, et le résultat a tous été bloqué, parce qu'il ne traitait pas cette empreinte digitale.

ipipgo dynamic ip crack

Le programme que nous concevons pour nos clients estlit. peindre en tenant deux pinceaux (idiome) ; fig. travailler sur deux tâches en même temps: :

Si l'on se concentre sur la partie relative à la propriété intellectuelle, le rapport d'ipipgoAgents résidentiels dynamiquesIl existe un chef-d'œuvre : chaque requête correspond automatiquement à l'heure de connexion de l'utilisateur réel local. Par exemple, si vous voulez capturer des données de Shanghai, vous pouvez utiliser l'IP de Xuhui Telecom à 8 heures, et passer à l'IP de Pudong Mobile à 10 heures, de sorte que les segments d'IP et les heures de travail et de repos correspondent parfaitement aux utilisateurs réels.

Codes de modification des empreintes digitales indispensables

Voici une astuce testée et approuvée qui fonctionne, ajoutez ces lignes à Puppeteer :

await page.evaluateOnNewDocument(() => {
  const getParameter = WebGLRenderingContext.prototype.getParameter;
  WebGLRenderingContext.prototype.getParameter = function(parameter) {
    if (parameter === 37445) { // 显卡ID参数
      return 'Intel HD Graphics 620';
    }
    return getParameter.apply(this, [parameter]);
  };
});

N'oubliez pas de l'associer à celui d'ipipgoInterface de rotation IPleur API prend en charge le remplacement automatique des IP en fonction du nombre de demandes, ce qui est plus précis que la commutation traditionnelle à la minute.

Un guide pour éviter les pièges de l'homme blanc

Trois erreurs courantes commises par les débutants :

1. Modifier uniquement l'IP mais pas les empreintes digitales (ce qui équivaut à changer de gilet mais pas de posture).
2. Utiliser le proxy du centre de données (fonctionnalité trop évidente)
3. Fréquence de commutation trop régulière (caractéristiques comportementales de la machine)

Il existe une comparaison des prix du commerce électronique entre les clients, l'IP horaire d'origine a changé une fois pour utiliser l'ipipgo.Mode de commutation aléatoireAprès (intervalles aléatoires de 5 à 15 minutes), le succès de l'acquisition est passé de 371 TP3T à 891 TP3T.

Foire aux questions QA

Q : Comment puis-je savoir si mes empreintes digitales ont fui ?
R : Visitez l'outil de détection des empreintes digitales sur le site web d'ipipgo pour voir plus de 20 paramètres d'empreintes digitales tels que Canvas/WebGL.

Q : Dois-je maintenir moi-même l'IP du proxy résidentiel ?
R : Ce n'est pas nécessaire, le pool de proxy d'ipipgo est doté d'un mécanisme d'auto-nettoyage de 5 minutes, et chaque IP retourne dans le pool pour y être rafraîchie après un maximum de 3 utilisations.

Q : L'adresse IP dynamique affecte-t-elle la vitesse du robot d'exploration ?
R : Testé à l'aide de la version 3.0 de l'API, des millions de demandes sont traitées 40% plus rapidement que les proxies traditionnels grâce à l'optimisation intelligente du routage intégré.

Enfin, un petit conseil : de nos jours, de nombreux sites Internet indiquent l'adresse IP et les empreintes digitales des internautes.marqueur combinéMême si vous changez d'adresse IP, vos empreintes digitales seront reconnues tant qu'elles restent les mêmes. Il est recommandé d'utiliser directement ipipgo.Services de l'Agence tous accords confondusIl s'agit du véritable mode furtif, qui permet de modifier simultanément les empreintes de communication HTTP/Socks5.