使用R抓取数据: rvest包实战指南

手把手教你用rvest抓数据时防封IP的绝招

最近好多做数据分析的小伙伴跟我吐槽，用rvest包抓数据总遇到IP被封的破事。就像上周有个哥们儿爬电商价格，刚抓了200页就被封IP，气得他差点把键盘砸了。今天就教你们怎么用代理IP这个神器来搞定这个糟心问题。

rvest基础操作别踩坑

先给小白们补补课，rvest包确实好用得像瑞士军刀。但很多人容易栽在这些坑里：

 新手常见错误示例
library(rvest)
url <- "https://example.com"
html <- read_html(url)   直接裸奔访问，等着被封吧

重点来了！read_html()这个函数默认是裸奔模式，连续访问就像在网站管理员眼皮底下跳广场舞，不封你封谁？

代理IP的救命三件套

这时候就要祭出我们的保命三件套：

 正确打开方式
library(httr)
proxy <- "http://username:password@gateway.ipipgo.com:9020"
response <- GET(url, use_proxy(proxy))
html <- read_html(response)

这里有个小门道，很多教程不说清楚：username要换成ipipgo后台生成的认证串，密码栏其实可以空着。用他们家代理有个好处，能自动切换出口IP，比手动换IP省事多了。

实战案例：电商价格监控

拿真实案例来说事，假设我们要抓某宝上的手机价格：

library(httr)
library(rvest)

ipipgo_proxy <- "http://user-3k9d8s@gateway.ipipgo.com:9020"

for(i in 1:100){
  url <- paste0("https://item.taobao.com?page=",i)
  resp <- GET(url, use_proxy(ipipgo_proxy), timeout(30))
  if(status_code(resp)==200){
     解析价格数据的代码...
  } else {
    print("触发反爬了，自动切换IP")
     ipipgo的API接口会自动轮换IP
  }
  Sys.sleep(runif(1,1,3))  随机休眠更逼真
}

注意这个runif(1,1,3)的小技巧，让访问间隔变得不规则。加上ipipgo的自动IP池切换，基本能稳如老狗。

常见问题QA

Q：代理IP用着用着就失效了怎么办？
A：这种情况建议用ipipgo的动态住宅代理，他们家IP池每天更新20万+IP，比静态代理稳得多

Q：设置了代理还是被封？
A：检查三点：1.代理是否高匿名 2.请求头是否带浏览器指纹 3.访问频率是否过高。用ipipgo的话记得开「自动请求头伪装」功能

Q：代理速度慢怎么破？
A：选节点的时候尽量选地理位置近的机房，ipipgo的国内BGP线路延迟能控制在50ms以内

为什么推荐ipipgo

用过七八家代理服务商，最后长期用ipipgo就三个原因：1.价格实在（学生党也玩得起）2.有专门针对爬虫的优化线路 3.客服响应快，上次凌晨两点提工单居然有人回

最后给个忠告：别贪便宜用免费代理，轻则数据泄露，重则被反向爬取。专业的事交给专业的人做，省下的时间多写几个数据分析模型不香么？