Données de Google Map : Collecte de données proxy de Google Map

Pourquoi ai-je besoin d'une adresse IP proxy pour les données cartographiques de Google ?

Vous avez dû rencontrer ce genre de situation : utiliser votre propre ordinateur pour saisir les données de la carte, le résultat n'est pas quelques minutes IP a été bloqué. C'est comme aller au supermarché pour essayer de manger, attraper un étal pour manger, la sécurité doit venir pour conduire les gens, le mécanisme anti-escalade de Google que les gardes de sécurité du supermarché peuvent être beaucoup plus puissants, l'utilisateur moyen de visiter des dizaines de fois à la suite peut déclencher les restrictions.

C'est alors qu'il est temps deIP proxyÊtre un "acteur de substitution". Par exemple, si vous utilisez un cascadeur pour tourner des scènes d'action dangereuses, ou si vous utilisez différentes IP pour collecter des données, la plateforme ne sera pas en mesure de reconnaître qu'il s'agit de la même personne. L'IP proxy résidentielle de notre propre produit ipipgo est utilisée dans l'environnement du réseau de l'utilisateur réel, qui est plus difficile à identifier que l'IP de la salle des serveurs.

Comment choisir une IP proxy pour ne pas marcher sur la tête ?

Il existe plusieurs types d'agents sur le marché et j'ai établi un tableau comparatif :

L'utilisation de Google Maps est recommandée pourIP résidentielleEn particulier celle d'ipipgo.IP résidentielle statique de longue duréeL'IP peut être utilisée pendant 24 heures. La dernière fois qu'un client a utilisé ce programme, la collecte continue de 3 jours n'a pas été bloquée, ce qui est plus stable que l'IP dynamique ordinaire.

Vous montrer comment le faire à la main

Par exemple, Python utilise la bibliothèque des requêtes pour mettre en œuvre l'accès par proxy :

demandes d'importation

 Format de proxy pour ipipgo username:password@ip:port
proxy = {
    'http' : 'http://你的账号:密码@gateway.ipipgo.com:20000', 'https' : 'http://你的账号:密码@gateway.ipipgo.com:20000'
    'https' : 'http://你的账号:密码@gateway.ipipgo.com:20000'
}

 Déguiser la visite en une visite normale du navigateur
headers = {
    User-Agent' : 'Mozilla/5.0 (Windows NT 10.0 ; Win64 ; x64) AppleWebKit/537.36'
}

response = requests.get('https://maps.google.com', proxies=proxy, headers=headers)
print(response.text[:500]) imprime les 500 premiers caractères pour voir s'il y a eu succès

Veillez à mettremot de passe du compteRemplacez-la par vos propres informations d'authentification obtenues du backend ipipgo. Il est recommandé de retarder chaque demande de 1 à 3 secondes de manière aléatoire, afin de ne pas envoyer des demandes à la manière d'une mitrailleuse.

Foire aux questions QA

Q：Pourquoi le site reste-t-il bloqué même si j'utilise une adresse IP proxy ?
R : Il se peut que vous ayez utilisé une adresse IP de salle de serveurs de mauvaise qualité, ou que la fréquence des demandes soit trop élevée. Passez à l'IP résidentielle d'ipipgo et essayez d'ajuster l'intervalle de requête à plus de 2 secondes.

Q : Que se passe-t-il si je souhaite collecter des cartes de plusieurs pays ?
R : Dans l'arrière-plan d'ipipgo, sélectionnez "Global Node". Par exemple, si vous voulez capturer les données américaines, utilisez l'adresse IP à large bande du domicile américain, et capturez les données japonaises en les transférant à l'adresse IP de Tokyo, afin d'obtenir les données avec plus de précision.

Q : La collecte de données est-elle légale ?
R : Tant qu'il ne s'agit pas d'informations relatives à la vie privée, il est possible de se conformer aux règles robots.txt de Google. Il est recommandé de limiter le volume de collecte quotidien à 50 000 fois. La fonction de rotation des adresses IP d'ipipgo convient parfaitement à ce volume.

Dites quelque chose qui vient du cœur.

La collecte de données s'apparente à une guérilla.lit. tirer un coup et changer de place. J'ai utilisé sept ou huit fournisseurs de services d'agence, et finalement le taux de survie d'ipipgo est le plus élevé. Leur service clientèle est un chef-d'œuvre - selon les scénarios de votre entreprise, le programme de combinaison IP recommandé, la dernière fois qu'un ami a planifié des itinéraires logistiques, est de s'appuyer sur leur programme personnalisé "IP résidentiel + IP mobile" pour traiter les données d'itinéraires nationaux.

Enfin, rappelons aux amis débutants : n'essayez pas d'acheter à bas prix ceux qui sont payés au montant de l'agent, au cas où l'IP serait bloquée, l'argent s'envolerait. Si vous ne savez pas ce que vous cherchez, vous pouvez obtenir une réponse directe de leur part, et la vitesse de réponse est plus rapide que celle d'un livreur.