Ruby Web Crawl: la biblioteca Nokogiri en acción

No deje que el bloqueo de IP le impida el paso a su rastreador

Hecho hermano rastreo web entender, el trabajo duro para escribir el rastreador de repente parálisis, nueve veces de cada diez es la IP está bloqueada por el sitio. Esta vez el proxy IP en la escena para salvar la emergencia, especialmente como el.ipipgoEste tipo de proveedor de servicios especializado en proxies de alta calidad puede ayudarle a jugar con la recopilación de datos.

Tres pasos para empezar con Nokogiri

Comience por instalar una biblioteca Nokogiri y, en la línea de comandos, pulsegem install nokogiriY aquí se acaba todo. Recuerde los tres ejes para el uso básico:
1. Captura de contenidos web con URI
2. Enviar contenido a Nokogiri para su análisis
3. Seleccione los datos como lo haría con la ropa CSS

require "nokogiri
require "open-uri

doc = Nokogiri::HTML(URI.open('https://目标网站'))
puts doc.css('h1.title').text

Poner un chaleco reflectante en una oruga

Directamente al código duro, aquí conipipgodel agente que hace la demostración. Preste atención alusuario_proxyresponder cantandoproxy_passPara estos dos parámetros, simplemente reemplázalos con la información de autenticación que obtuviste del backend de ipipgo.

proxy_host = 'gateway.ipipgo.com'
proxy_port = 9021
proxy_user = 'Su cuenta'
proxy_pass = 'Su contraseña'

opciones = {
  http_proxyaddr: proxy_host, http_proxyport: proxy_port, http_proxy_port = 'su contraseña'
  http_proxyport: proxy_port, http_proxyuser: proxy_user, http_proxyport: proxy_user
  http_proxyuser: proxy_user, http_proxypass: proxy_password
  http_proxypass: proxy_pass
}

doc = Nokogiri::HTML(URI.open('https://目标网站', options))

Guía práctica para evitar el pozo

No te asustes cuando te encuentres con un CAPTCHA, prueba estos tres trucos:
1. Reducir la frecuencia de las solicitudes añadiendo undormir(3)
2. Cambia el User-Agent, no utilices siempre el mismo.
3. Utilización del ipipgoAgentes Residenciales DinámicosVisita disfrazada de persona real

Preguntas frecuentes sobre el desminado

P: ¿No se puede utilizar el agente libre?
R: Nueve de cada diez proxies gratuitos son lamentables, o lentos como una tortuga, o se cuelgan en dos minutos. Es mejor dejar las cosas profesionales al servicio de pago como ipipgo.

P: ¿Qué puedo hacer si no consigo alcanzar la velocidad de agente?
A：选离目标服务器近的节点，比如抓日本网站就用ipipgo的东京机房。后台还能看到每个节点的数据，挑绿色标记的用。

P: ¿Cómo puedo saber si la IP está activa?
R: Añade una prueba al código:

puts open('http://ipinfo.io/ip', opciones).read

Habilidades necesarias para mejorar y luchar contra los monstruos

Cuando te encuentres con un sitio especialmente difícil, prueba el programa de ipipgosuspensión de la sesiónFunción. Ésta garantiza que se utilice la misma IP de salida durante 20 minutos, lo que resulta adecuado para escenarios en los que hay que registrarse en el estado. Unido a su enrutamiento inteligente, que selecciona automáticamente la línea más rápida, la eficacia de la recogida se duplica directamente.

Por último, dijo una lección en lágrimas: el año pasado tomó un proyecto de comercio electrónico transfronterizo, no se molestó en comprar los servicios de proxy, los resultados de su propia piscina IP de mantenimiento casi no murió de agotamiento. Más tarde cambió a ipipgo, cada mes para ahorrar 40 horas de tiempo de depuración, el dinero gastado es absolutamente vale la pena.