Python抓取: Requests库实战指南

江湖救急！Python抓取被反爬搞到头秃？

做爬虫的老铁们肯定都遇到过这种尴尬：昨天还好好的脚本，今天突然就被目标网站拉黑了。这时候你就需要代理IP这个神器来江湖救急。好比化妆舞会戴面具，每次用不同IP地址访问，网站就认不出你是同一个人。

手把手教你给Requests穿马甲

在requests里用代理简单到哭，记住这个万能模板：

import requests

proxies = {
    'http': 'http://用户名:密码@ip地址:端口',
    'https': 'https://用户名:密码@ip地址:端口'
}

resp = requests.get('目标网址', proxies=proxies)

这里要敲黑板：http和https代理要分开写，很多人栽在这坑里。要是用ipipgo的代理服务，他们的后台会自动生成这段配置代码，直接复制粘贴就行，省事得很。

实战案例：电商价格监控

咱们举个真实例子。某电商平台的价格页面，连续访问20次就会被封IP。用ipipgo的动态住宅代理可以这样破局：

from itertools import cycle
import requests

ip池 = [
    'http://user123:pass456@jp1.ipipgo.io:3128',
    'http://user123:pass456@us2.ipipgo.io:3128',
    ...更多ip
]

代理循环器 = cycle(ip池)

for page in range(1,100):
    current_proxy = next(代理循环器)
    try:
        resp = requests.get(f'商品链接?page={page}', 
                          proxies={'http': current_proxy},
                          timeout=8)
         解析价格数据...
    except Exception as e:
        print(f'第{page}页扑街：{str(e)}')

这里用了循环代理池的套路，ipipgo的每个代理有效期5分钟，刚好适合这种需要频繁切换的场景。注意设置合理的超时时间，别让个别失效代理卡住整个流程。

避坑指南：代理使用的雷区

新手常犯的三大错误：

1. 把代理当万能药 → 要配合随机UA、请求间隔等策略
2. 死磕免费代理 → 公共代理10个有9个不能用，耽误事
3. 忽略协议类型 → http代理访问https网站会报协议错误

QA急救包

Q：代理用着用着失效咋整？
A：ipipgo的套餐都带自动更换IP功能，在后台设置更换频率就行。建议选他们的智能模式，系统会根据使用情况自动优化。

Q：怎么测试代理是否真有效？
A：用这个检测接口试试：

resp = requests.get('http://httpbin.org/ip', proxies=proxies)
print(resp.json())   显示当前使用的IP

Q：遇到HTTPS网站总报SSL错误？
A：八成是代理配置不对。https的代理地址要以https://开头，别直接复制http代理的配置。

选代理服务的门道

市面上的代理鱼龙混杂，教你看几个硬指标：

特别说下ipipgo的智能路由功能，能自动匹配目标网站所在地的代理节点。比如抓日本网站就用东京机房IP，既降低延迟又更隐蔽。

最后唠叨一句：别等到IP被封了才想起用代理，专业的事交给专业工具。现在注册ipipgo能领3天试用，新人还有5折优惠，这羊毛不薅白不薅。