Ruby网页抓取|Nokogiri高效解析教程

一、为什么Ruby抓取总被封？你可能缺了这个

最近帮朋友调试爬虫时发现，很多新手以为用Nokogiri就能随便抓数据。结果刚跑两天，目标网站就返回403错误。其实问题出在请求特征太单一——同一IP反复请求，服务器不封你封谁？

这时候就需要给Ruby脚本装上”隐身衣”。具体来说，就是通过代理IP轮换，让每次请求都像是不同地区的普通用户。比如咱们用ipipgo的服务，他们提供动态住宅IP池，每次请求自动切换出口IP，成功率能提到85%以上。

二、5分钟搞定Ruby代理配置

在Ruby里设置代理简单到爆。以HTTParty为例：

require 'httparty'

proxy = "http://user:pass@gateway.ipipgo.com:9020"
response = HTTParty.get('https://target.com', {
  http_proxyaddr: proxy.split('@').last.split(':').first,
  http_proxyport: proxy.split(':').last.to_i,
  http_proxyuser: proxy.split('://').last.split(':').first,
  http_proxypass: proxy.split(':')[2].split('@').first
})

重点注意认证信息格式，很多新手栽在用户名密码拼接错误上。ipipgo的代理地址都是统一格式，照着他们的文档抄就行。

三、Nokogiri解析的3个神技巧

拿到网页后，解析姿势很重要。分享几个实战经验：

1. CSS选择器优先：相比XPath，CSS选择器更易读。比如找商品价格用doc.css('.price-box .final-price')

2. 编码强制转换：遇到乱码别慌，先response.body.force_encoding('UTF-8')

3. 异常捕获：用rescue Nokogiri::SyntaxError处理脏数据，避免整个脚本崩掉

四、真实案例：电商价格监控系统

去年用ipipgo代理+Ruby做了个比价系统，架构是这样的：

1. 用Sidekiq创建抓取任务队列
2. 每次请求随机选择ipipgo的出口节点
3. Nokogiri解析后存Redis
4. 每小时生成价格波动报告

这个方案连续跑了半年，封IP率从60%降到3%以下。关键是代理质量要稳，ipipgo的节点可用率长期在99%左右，维护起来省心。

五、常见问题QA

Q：代理速度慢怎么办？
A：优先选物理距离近的节点。ipipgo后台可以锁定指定城市的出口IP，比如目标网站在杭州，就选浙江的节点。

Q：HTTPS网站抓取失败？
A：检查Ruby的OpenSSL版本，然后给HTTParty加上ssl_version: :TLSv1_2参数。如果还不行，换ipipgo的socks5代理试试。

Q：怎么判断IP是否暴露？
A：在脚本里加个检测环节，抓取前先访问https://ip.ipipgo.com/check，这个接口会返回当前使用的出口IP信息。

六、防封指南终极总结

最后给个四要四不要口诀：
要随机UA｜要代理轮换｜要请求间隔｜要异常处理
不要高频请求｜不要固定参数｜不要解析错误｜不要贪多求全

按照这个思路配置，配合ipipgo的智能路由功能，基本能搞定90%的网站抓取需求。他们的技术客服挺专业，遇到具体问题可以直接要配置方案。