PHP cURL网页爬取: 代理IP解决请求频率限制

一、网站为啥总封你？先看懂反爬套路

搞爬虫的朋友最头疼的就是请求频率限制。比如某宝商品数据，连续请求30次就被掐断连接。这时候别急着砸键盘，网站其实是通过IP追踪来识别机器行为的。

举个栗子：你家路由器有个公网IP，就像快递单上的收货地址。网站服务器发现这个地址每分钟狂发50次请求，直接判定不是人类操作。这时候就算你在代码里加sleep延时，也可能被连带封禁。

二、代理IP咋就成了解锁神器？

原理特简单——多人共用一个IP池。假设用ipipgo的代理服务，每次请求随机切换不同IP，网站看到的访问记录是这样的：

这样服务器会以为是多个真实用户在访问，完美绕过单IP频率检测。重点是要选像ipipgo这样IP池够大的服务商，避免重复使用相同IP。

三、手把手教你在PHP里玩转代理

先上核心代码，后面逐行解析：

$proxy = '221.192.136.12:8080'; //从ipipgo获取的代理地址
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "https://目标网站.com");
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_TIMEOUT, 15);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$output = curl_exec($ch);
if(curl_errno($ch)){
    echo '错误码: '.curl_errno($ch).' 建议更换代理IP';
}
curl_close($ch);

重点参数说明：

• CURLOPT_PROXY 必须设置正确格式：IP:端口
• 超时时间建议15秒内，太长影响效率
• 记得处理错误码，特别是28（超时）和7（连接拒绝）

四、ipipgo的实战优势在哪？

用过七八家代理服务，最终锁定ipipgo主要是这几个点：

1. 存活率靠谱 - 实测95%+的IP能正常连接
2. 响应够快 - 平均800ms的延迟，比某些动不动3秒的好太多
3. 有专属通道 - 企业级用户能开独立IP池
4. 价格透明 - 不像某些平台藏着隐形消费

特别要夸他们的IP预热机制，新添加的IP会先通过低频率请求测试可用性，避免一上来就触发风控。

五、小白必看的避坑指南

Q：代理IP用着用着就失效了？
A：正常现象！建议每次请求随机更换IP，用ipipgo的API获取动态IP池，代码里加个数组轮询就行。

Q：设置了代理还是被封？
A：检查三点：1.请求头有没有带浏览器特征 2.单IP请求间隔是否太短 3.是否触发了人机验证

Q：免费代理能用吗？
A：短期测试可以，但正式项目绝对要买商用服务。免费代理的可用率通常不到20%，还会泄露数据。

六、高阶玩家配置方案

给每天要爬百万级数据的朋友分享个配置模板：

// 从ipipgo获取的API接口
$ip_api = 'https://api.ipipgo.com/get?format=json';

function getProxy(){
    global $ip_api;
    $ips = json_decode(file_get_contents($ip_api),true);
    return $ips['proxy_list'][array_rand($ips['proxy_list'])];
}

// 每次请求自动更换IP
for($i=0; $i<1000; $i++){
    $proxy = getProxy();
    // 这里接之前的curl代码
    usleep(500000); // 间隔0.5秒
}

这个方案实现了动态IP池+随机延时双重防护，配合ipipgo的并发套餐，日爬百万数据不是梦。