PHPcurl抓取: 网页采集实例

手把手教你用PHPcurl+代理IP采集数据

咱们做数据采集的，最怕遇到网站反爬机制。上周有个做电商的朋友找我，说他用PHPcurl写的采集脚本突然失效了，网站直接给他IP封了三天。这事儿要解决其实不难，今天我就拿这个案例，教大家怎么用ipipgo的代理IP服务来搞定反爬。

// 基础curl示例（这个迟早被封）
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "http://目标网站.com");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$output = curl_exec($ch);

为什么必须用代理IP？

很多网站都装了流量指纹识别系统，就像超市的防盗门一样。你用一个IP反复访问，相当于同一个人半小时进出超市20次，保安不盯你盯谁？ipipgo的代理池有800万+动态IP，相当于给你准备了无数个”马甲”，让网站根本分不清谁是谁。

实战改造：给curl装上IP护甲

拿刚才被封的脚本改造，关键三步：

// 从ipipgo获取代理（注意替换自己的API密钥）
$proxy = file_get_contents("https://api.ipipgo.com/getproxy?key=你的密钥");

// 配置curl代理参数
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);

// 重要！记得加错误重试
if(curl_errno($ch)){
    $proxy = file_get_contents("https://api.ipipgo.com/report?proxy=".$proxy); // 上报失效IP
    // 重新获取代理继续执行...
}

注意坑点：别图省事把代理IP写死在代码里，一定要用动态获取。ipipgo的API支持按地区、运营商筛选IP，做跨境采集的可以用这个功能。

采集效率提升技巧

1. 多线程采集时，每个线程要配独立代理，别让多个请求共用同一个IP
2. 随机设置请求间隔，别像闹钟一样准点访问
3. 遇到验证码别死磕，通过ipipgo换新IP再试
4. 定期清理cookie，别让网站追踪到行为轨迹

// 随机延迟脚本（单位：秒）
sleep(rand(1,5) + mt_rand(0,3000)/1000);

常见问题QA

Q：代理IP突然失效怎么办？
A：在curl错误回调里加个上报机制，ipipgo的系统收到反馈会自动剔除问题IP

Q：怎么判断代理是否生效？
A：在curl_exec之后打印curl_getinfo($ch, CURLINFO_PRIMARY_IP)看输出IP是否变化

Q：每天需要多少代理IP？
A：根据业务量算，一般每IP每小时200-300次请求较安全。ipipgo的套餐从日租到包月都有，新用户送5000个测试IP

最后提醒大伙儿，做数据采集要遵守网站robots协议。用ipipgo的代理服务不是为了搞破坏，而是让咱们的合法采集更顺畅。有次我帮客户做比价系统，用了动态代理之后，数据获取成功率从47%直接飙到98%，效果立竿见影。