Ruby网站抓取: Nokogiri库实战

别让封IP挡住你的爬虫之路

做过网页抓取的兄弟都懂，辛辛苦苦写的爬虫突然就瘫了，十有八九是IP被网站封了。这时候就该代理IP上场救急了，特别是像ipipgo这种专门做高质量代理的服务商，能帮你把数据采集玩得溜溜的。

Nokogiri上手三步走

先装个Nokogiri库，命令行敲gem install nokogiri就完事。基础用法记住三板斧：
1. 用URI抓网页内容
2. 把内容喂给Nokogiri解析
3. 像用CSS选衣服那样选数据

require 'nokogiri'
require 'open-uri'

doc = Nokogiri::HTML(URI.open('https://目标网站'))
puts doc.css('h1.title').text

给爬虫套上代理马甲

直接上硬核代码，这里用ipipgo的代理做演示。注意看proxy_user和proxy_pass这两个参数，换成自己在ipipgo后台拿到的认证信息就行。

proxy_host = 'gateway.ipipgo.com'
proxy_port = 9021
proxy_user = '你的账号'
proxy_pass = '你的密码'

options = {
  http_proxyaddr: proxy_host,
  http_proxyport: proxy_port,
  http_proxyuser: proxy_user,
  http_proxypass: proxy_pass
}

doc = Nokogiri::HTML(URI.open('https://目标网站', options))

实战避坑指南

碰到验证码别慌，试试这三招：
1. 降低请求频率，加个sleep(3)
2. 换User-Agent，别老用同一个
3. 用ipipgo的动态住宅代理，伪装成真人访问

常见问题排雷

Q：免费代理不能用吗？
A：免费代理十个有九个坑，要么速度慢成龟，要么用两分钟就挂。专业的事还是交给ipipgo这种付费服务靠谱。

Q：代理速度上不去咋整？
A：选离目标服务器近的节点，比如抓日本网站就用ipipgo的东京机房。后台还能看到每个节点的延迟数据，挑绿色标记的用。

Q：怎么判断IP是否生效？
A：在代码里加个检测：

puts open('http://ipinfo.io/ip', options).read

升级打怪必备技能

遇到特别难搞的网站，试试ipipgo的会话保持功能。这个能保证20分钟内都用同一个出口IP，适合要登录状态的场景。再配上他们的智能路由，自动选择最快线路，采集效率直接翻倍。

最后说个血泪教训：去年接了个跨境电商的项目，没舍得买代理服务，结果自己维护IP池差点没累死。后来换成ipipgo，每个月省下40小时调试时间，这钱花得绝对值。