http proxy server configuration: packet capture debugging & crawler attack and defense manual

一、手把手教你玩转代理服务器配置

搞代理服务器就像给网络请求套了件隐身衣，先说几个必装软件：Windows系统用Proxifier，Mac推荐Charles。以Charles为例，打开Proxy Settings设置端口8888，手机端连同一WiFi配代理地址，记得勾选Enable SSL Proxying才能抓HTTPS包。

 Python requests设置代理示例
import requests
proxies = {
    'http': 'http://username:password@gateway.ipipgo.com:3000',
    'https': 'http://username:password@gateway.ipipgo.com:3000'
}
response = requests.get('https://example.com', proxies=proxies)

这里有个坑要注意：很多新手忘记处理证书校验，建议在代码里加上verify=False参数。不过用ipipgo的代理有个好处，他们自带SSL证书白名单，省去很多配置麻烦。

二、抓包调试实战技巧

遇到过请求发出去没反应的情况？八成是IP被风控了。这时候得看响应状态码：

推荐用ipipgo的动态住宅代理，他们家IP池子够大，遇到封禁直接换IP。实测用他们的轮换模式，配合2秒延迟，连续采集3小时没触发反爬。

三、爬虫攻防七伤拳

反爬措施现在越来越狠，我总结出三板斧：

1. IP伪装：用动态代理每5分钟换IP
2. 设备指纹：随机生成User-Agent，记得把Win和Mac版本号写对
3. 行为模拟：别用固定时间间隔，学真人操作加随机延迟

举个真实案例：某电商平台要抓价格数据，用普通代理5分钟就被封。换成ipipgo的静态住宅代理+指纹浏览器方案，连续采集3天没出问题。他们家的IP都是真实家庭宽带，反爬系统很难识别。

IV. First aid kit for common problems

Q: What should I do if I can't connect to the agent?
A：先检查白名单设置，ipipgo支持账号密码和IP绑定两种认证。再测本地网络，用curl命令测代理端口通不通：

curl -x http://代理IP:端口 http://ip.ipipgo.com --connect-timeout 5

Q: How can I tell if a proxy is in effect?
A：访问ipipgo的检测页面https://check.ipipgo.com，能看到当前出口IP的地理位置和运营商信息。

Q：高并发场景怎么选套餐？
A：爬数据用动态住宅（企业版），做账号管理选静态住宅。有个客户用动态套餐做比价系统，日均请求量20万次，成本比自建代理池低40%。

五、ipipgo套餐选购指南

Right-sized according to business needs:

• 动态住宅（标准）：适合短期数据采集，IP存活时间1-30分钟可调
• 动态住宅（企业）：带独享IP池，支持每秒100+次请求
• 静态住宅：做社交账号运营首选，IP存活24小时以上

最近有个做海外电商的朋友，用静态住宅代理管理100+店铺账号。配合指纹浏览器，半年没出现账号关联问题。他们家还有个隐藏功能——可以指定城市级定位，做本地化运营特别方便。

最后提醒：遇到验证码别硬刚，该用打码平台就配合着用。把代理成本、识别成本、时间成本放一起算总账，才能找到最优方案。