Ruby web crawling : pratique de développement d'un proxy crawler en Ruby

Ruby crawler encounter counter-crawl comment faire ? Essayez cette astuce de proxy IP

Les frères Crawler comprennent que le site bloque l'IP, ce qui est appelé un impitoyable. La semaine dernière, j'ai écrit un script pour attraper le prix du commerce électronique, juste commencé à exécuter joyeusement, les résultats du jour suivant sur la rupture - le site cible directement à mon IP noir. Cette fois, nous devons sortir le proxy IP cette arme magique, aujourd'hui nous allons prendre Ruby pour dire comment jouer le proxy crawler.

Comment diable charger une adresse IP de proxy dans Ruby ?

L'utilisation de proxys en Ruby est ridiculement facile, selon la bibliothèque utilisée. Par exemple, avec HTTParty, la configuration d'un proxy se résume à trois lignes de code :

nécessite 'httparty'

response = HTTParty.get('https://目标网站.com',
  http_proxyaddr : 'Proxy IP assigné par ipipgo',
  http_proxyport : numéro de port, http_proxyuser : 'IP proxy assignée par ipipgo', http_proxyport : numéro de port, http_proxyuser : numéro de port, http_proxyuser : numéro de port
  http_proxyuser : "numéro de compte",
  httpproxypass : "mot de passe
)

Attention ! Voici un piège, beaucoup de débutants oublient de régler le délai d'attente. Il est recommandé d'ajouterdélai d'attente : 30Ce paramètre, sinon le programme bloqué vous ne savez pas comment faire.

Comment choisir un proxy statique dynamique ? Cela dépend du scénario

Trois formules sont disponibles chez ipipgo home, et celle que vous choisirez dépendra des besoins de votre entreprise :

La semaine dernière, j'ai aidé un ami à comparer des tarifs aériens, et j'ai pu brosser 2000 requêtes en une heure avec la version dynamique d'entreprise, et le pool d'IP était suffisamment grand pour ne pas répéter la même chose. Si vous voulez faire de la formation de compte, vous devez utiliser du statique, une IP correspond à un compte pour être sûr.

Guide pratique pour éviter la fosse

Disons un cas réel : une fois avec un agent libre pour attraper les données, les résultats sont renvoyés au faux contenu ! Plus tard, je suis passé à la ligne TK d'ipipgo pour résoudre le problème. Ici pour vous apprendre un moyen de détecter si le proxy est efficace :

def check_proxy
  origin_ip = HTTParty.get('http://ip-api.com/json').parsed_response["query"]
  proxy_ip = HTTParty.get('http://ip-api.com/json', proxy_params).parsed_response["query"]
  puts "Original IP : {origin_ip} | proxy IP : {proxy_ip}"
fin

Si les deux IP sont identiques lors de l'exécution de ce code, cela signifie que le proxy n'est pas efficace, il faut donc vérifier rapidement les paramètres de configuration. Il est recommandé d'ajouter cette logique de détection au crawler et de l'exécuter automatiquement toutes les demi-heures.

Foire aux questions QA

Q : Que dois-je faire si je rencontre toujours le CAPTCHA ?
R : Utilisez la combinaison proxy résidentiel + en-tête UA aléatoire. Le client ipipgo dispose d'une fonction UA aléatoire, n'oubliez pas d'ajuster l'intervalle de requête à des valeurs aléatoires de 3 à 10 secondes.

Q : Que dois-je faire si mon agent est lent ?
R : Sélection prioritaire de nœuds géographiquement proches, comme la capture de sites web japonais avec la salle de serveurs d'ipipgo à Tokyo. La latence mesurée de leur ligne spécialisée SERP API peut être ramenée à 200 ms ou moins !

Q : Pourquoi avoir besoin de plusieurs fils ?
R : Utilisez Connection Pool pour gérer le pool d'IP proxy, chaque thread se voit attribuer une IP indépendante. N'oubliez pas de ne pas dépasser le nombre de threads, sinon ce sera en vain !

Pourquoi recommandez-vous ipipgo ?

celui-ciligne spécialisée transfrontalièreLa dernière fois qu'ils ont aidé les clients à obtenir des données sur le commerce électronique en Asie du Sud-Est, le taux de réussite de l'agent ordinaire n'a été que de 40%, alors que le taux de réussite de la ligne de Singapour est passé directement à 92%.

Enfin, une phrase lancinante : n'essayez pas de faire bon marché avec un agent gratuit, le blocage léger des données entraîne de lourdes poursuites judiciaires. Les entreprises régulières ou doivent utiliser ipipgo ce genre de fournisseurs de services de qualification sérieux, la sécurité des données que quelques frais d'agent est beaucoup plus important. La prochaine fois, nous parlerons de la façon d'utiliser l'agent pour faire des crawlers distribués, pour s'assurer que les tutoriels du marché vraiment !