Lorsque vous recueillez des données à l'étranger Examinez d'abord ces trois réglementations pour savoir comment infliger une amende à vos amis qui recueillent des données au niveau transnational. Vous avez dû constater récemment que la réglementation en Europe, aux États-Unis et en Asie du Sud-Est est de plus en plus stricte. L'année dernière, un ami qui fait du commerce électronique s'est plaint à moi d'avoir utilisé un crawler pour obtenir les informations sur les produits d'une plateforme en Allemagne, ce qui lui a valu une amende de la part du GDPR pour le camp annuel...

Les frères du crawler se penchent sur la question ! Récemment, un ami de l'industrie du commerce électronique m'a dit que son crawler ne bougeait pas pour être bloqué IP, que les données ne capturaient pas grand-chose, que l'exploitation et la maintenance devaient faire des heures supplémentaires tous les jours pour réparer la machine. Cette scène ne vous est pas particulièrement familière ? Pas de panique, nous vous proposons aujourd'hui une astuce, avec Pro...

Quelle est la relation entre les droits sur les bases de données et les adresses IP par procuration ? De nombreuses personnes sont déconcertées par l'expression "droits sur les bases de données", qui est en fait étroitement liée à l'utilisation quotidienne de la propriété intellectuelle par procuration. Par exemple, lorsque vous collectez des données publiques en masse sur l'internet, si la base de données de l'autre partie est reconnue par l'Union européenne comme ayant un "investissement substantiel", même si vous...

Comment utiliser les données publiques sans marcher sur la mine ? Les amis qui se consacrent à la recherche de données sont confrontés à un casse-tête : il y a tant d'informations publiques sur l'internet, mais comment les utiliser sans tomber dans la légalité ? L'année dernière, une équipe universitaire a été poursuivie pour avoir exploré des informations d'entreprise, ce qui a réveillé l'industrie. Voici un exemple concret...

Le "Crawler Ban" (interdiction des robots) figurant dans les conditions générales du site web est-il pris en compte ? Récemment, le petit frère d'un site de comparaison des prix du commerce électronique s'est plaint, disant qu'il utilisait son propre script pour capturer les données, ce qui a eu pour effet de bloquer le compte de la plateforme. Cette chose est très intéressante, tout comme vous allez au supermarché pour copier le prix, le commerçant dit "le magasin interdit la copie de prix&#82....

Apprendre à utiliser Docker pour jouer avec le contrôle des ressources du crawler Frère devrait savoir que le plus grand mal de tête est les ressources du serveur comme un cheval sauvage qui court partout. Aujourd'hui, nous allons utiliser Docker, cet outil magique, avec le service de proxy IP de la famille ipipgo, les dispositions de contrôle des ressources pour un clair. Pourquoi devons-nous utiliser Docker...

Quand le Crawler rencontre le CAPTCHA ? Try Playwright + Proxy IP pair of king bomb Récemment, certains frères m'ont toujours demandé, en utilisant Playwright pour faire de l'automatisation est toujours le site cible bannir l'IP comment faire ? Je suis trop familier avec cette question ! L'année dernière, lorsque je faisais de la collecte de données de commerce électronique, j'ai dû changer l'adresse IP tous les trois jours, puis j'ai découvert que Playwright...

Vous apprendre à utiliser l'IP proxy pour intercepter le CAPTCHA Le plus grand casse-tête du programmeur d'automatisation est de se heurter au hCaptcha et au Funcaptcha, un CAPTCHA si difficile, à chaque fois qu'il apparaît avec le test comme. Si vous utilisez l'IP de votre propre serveur pour les ignorer, vous serez blacklisté en quelques minutes. Ici pour enseigner da...

Quand les données d'un crawler sont collées dans un pot de porridge ? Essayez cette série de combinaisons de nettoyage Les personnes qui font du crawling de données doivent comprendre que le texte ramassé sur Internet est comme un marché aux légumes où l'on ramasse des feuilles pourries - les informations utiles sont enveloppées dans des choses sales. Cette fois-ci, nous devons mettre en place notre pipeline de nettoyage, l'adresse IP, la localisation géographique, la classe de protocole ...