PHP网页抓取|CURL实战采集案例教程

手把手教你用PHP抓数据，代理IP这么用才稳

搞数据采集的老铁们应该都懂，直接用自己服务器IP去薅网站羊毛，分分钟就被封。上周有个做电商的朋友，自己写的爬虫脚本突然失灵，一查日志才发现IP被目标网站拉黑了。这时候就得搬出咱们的救星——代理IP。

这里必须安利ipipgo家的代理服务，他们家的IP池子够大，每次请求都能换不同的出口IP。我自己实测过，连续采集某电商平台3小时没被拦截，成功率保持在95%以上。

先上硬菜，直接看代码怎么玩。用CURL初始化请求的时候，重点注意这两个参数设置：

$ch = curl_init();
curl_setopt($ch, CURLOPT_PROXY, '代理IP:端口'); //这里填ipipgo提供的地址
curl_setopt($ch, CURLOPT_PROXYUSERPWD, "账号:密码"); //ipipgo后台生成的认证信息

很多新手栽在超时设置上，建议连接超时设8秒，传输超时设25秒。碰到响应慢的网站，这样设置能有效避免脚本卡死。

这里说几个血泪教训：

特别提醒：用ipipgo的代理时，记得在后台把IP存活时间设置为动态模式，这样每次请求都会自动换IP，亲测防封效果最佳。

1. 随机延时很重要，别用固定sleep时间。建议在1-3秒之间随机停顿，这样更像真人操作。

2. 遇到验证码别慌，ipipgo的独享IP套餐支持自动打码服务，能省不少事。

3. 采集结果存数据库时，记得做重复数据过滤。推荐用MD5哈希值比对内容，这个方法效率最高。

Q：代理IP速度慢怎么办？
A：选ipipgo的BGP线路，他们有三网融合的骨干节点，实测延迟能压到200ms以内。

Q：采集到一半中断怎么续采？
A：在脚本里加个断点续传功能，记录最后采集的位置。ipipgo的API支持按任务ID查询使用记录，方便找回之前的采集进度。

Q：需要多线程采集怎么搞？
A：用pcntl_fork创建子进程，每个进程分配不同的ipipgo代理IP。注意控制并发数，别把服务器CPU跑炸了。

最后给个忠告：别贪便宜用免费代理，轻则数据错乱，重则账号被封。像ipipgo这种正规服务商，虽然要花点银子，但数据质量有保障，出了问题还有技术客服随时支援，这才是搞采集的正道。