Ruby网页抓取器: Nokogiri实战

当爬虫撞上反爬，油条代理来救场

咱们搞爬虫的都知道，Nokogiri这货在Ruby圈里算是解析网页的扛把子。但最近好多兄弟跟我吐槽，说刚写好的爬虫脚本运行没两天就被目标网站ban了IP。这事儿吧，就跟吃火锅没蘸料似的——差点意思。

上周有个做比价系统的哥们儿，抓某电商平台价格时，连续换了三个服务器IP都被封。后来我让他试了ipipgo的动态住宅代理，好家伙，直接原地复活。这里头门道其实简单：用真人用户级别的IP地址，网站根本分不清是机器还是真人。

手把手教你给Nokogiri穿马甲

先看个基础配置模板（记得把your_api_key换成ipipgo后台拿到的真令牌）：

require 'nokogiri'
require 'net/http'

 获取ipipgo动态代理
def fetch_proxy
  api_url = "https://api.ipipgo.com/v1/proxy?key=your_api_key&type=rotating"
  response = Net::HTTP.get(URI(api_url))
  JSON.parse(response)['proxies'].sample
end

proxy = fetch_proxy
uri = URI('https://target-site.com')

Net::HTTP.start(uri.host, uri.port, 
  proxy_addr: proxy['ip'],
  proxy_port: proxy['port'],
  proxy_user: proxy['username'],
  proxy_pass: proxy['password']) do |http|
  
  doc = Nokogiri::HTML(http.get(uri.path).body)
   后续解析操作...
end

这里有几个避坑指南：

• 每次请求最好换新代理（ipipgo的自动轮换功能帮大忙）
• 注意代理协议类型，电商类网站用住宅代理成功率更高
• 超时设置别超过15秒，否则影响采集效率

实战中的骚操作案例

场景一：突破频次限制

做舆情监控的客户，需要每小时抓取某论坛新帖。用ipipgo的按量计费套餐，在请求头里随机切换User-Agent，配合代理IP池，愣是把采集成功率从37%拉到92%。

场景二：破解地域屏蔽

有个做本地生活服务的项目，需要采集不同城市商户数据。通过ipipgo的城市级定位代理，精准获取指定地区的IP地址，成功绕过网站的地域筛选机制。

你肯定想问的五个问题

Q：代理IP会不会拖慢采集速度？
A：ipipgo的优质线路平均响应在800ms以内，比被封后重试快多了

Q：多久换一次IP合适？
A：高反爬网站建议每个请求都换，普通网站可以5分钟一换

Q：遇到HTTPS网站怎么办？
A：ipipgo的代理全支持SSL连接，代码里记得用https://开头

Q：同时开多个爬虫线程怎么管理代理？
A：用ipipgo的API批量获取代理池，每个线程单独分配

Q：免费代理和付费代理差别在哪？
A：这么说吧，免费代理就像公共厕所——谁都能用，但真到急用时可能找不到坑位。ipipgo的独享代理相当于私人洗手间，既干净又稳定。

说点掏心窝的话

其实用代理IP就跟打游戏开外挂似的，关键要演得自然。别整个脚本咔咔猛抓，结果用的都是机房IP，这不摆明告诉人家你是机器人么。ipipgo的混拨代理池，能把住宅IP、数据中心IP、移动IP掺着用，这才是高阶玩法。

最后给个忠告：别在User-Agent上偷懒！见过有人用Nokogiri抓数据，结果所有请求的User-Agent都显示Ruby/nethttp，这不等着被ban么。配合ipipgo代理使用时，记得在代码里加个随机User-Agent数组，这才是专业玩家的基本素养。