pyspider ip代理设置：Python爬虫配置代理IP详细教程

手把手教你用pyspider挂代理

搞爬虫的兄弟都懂，没代理IP就像裸奔上网，分分钟被目标网站拉黑。今天咱不讲虚的，直接上干货教你怎么在pyspider里配置代理，重点说说怎么用ipipgo的代理服务来保平安。

为什么要给爬虫穿马甲？

举个栗子，你每天去小卖部买烟，老板看脸熟就怀疑你是二道贩子。代理IP就是给爬虫换马甲，让网站以为每次访问都是不同人。特别是做大规模数据采集时，没代理的话，轻则封IP，重则整个项目瘫痪。

pyspider代理配置三步走

在pyspider的爬虫脚本里加代理其实特简单，重点是要找对地方。记住这个黄金位置：self.crawl()方法的fetch_type参数。

import pyspider
from pyspider.libs.base_handler import 

class MySpider(BaseHandler):
    def on_start(self):
        self.crawl('http://目标网站.com',
                   callback=self.index_page,
                   fetch_type='js',
                   proxies={"http": "http://账号:密码@代理IP:端口",
                           "https": "https://账号:密码@代理IP:端口"})

这里有两个坑要注意：

1. 如果用Socks5协议，得先装requests[socks]这个包
2. 密码里有特殊符号的话记得用urllib.parse转码

代理池实战技巧

单代理容易被识破，建议搞个代理池轮换。用ipipgo的API提取接口，每小时自动换一批IP：

import requests

def get_proxies():
    api_url = "https://ipipgo.com/api/get_proxy?type=动态住宅&count=50"
    resp = requests.get(api_url).json()
    return [f"http://{item['ip']}:{item['port']}" for item in resp['data']]

 在爬虫初始化时加载代理池
class MySpider(BaseHandler):
    def __init__(self):
        self.proxy_pool = get_proxies()
        self.current_proxy = 0

    def get_proxy(self):
        proxy = self.proxy_pool[self.current_proxy % len(self.proxy_pool)]
        self.current_proxy += 1
        return {"http": proxy, "https": proxy.replace('http','https')}

避坑指南（常见QA）

为什么推荐ipipgo？

自家用的代理服务，说几个实在的优势：

• 动态住宅IP7块7毛7就能用1G流量，比买瓶饮料还便宜
• 遇到验证码轰炸的情况，换他们家的TK专线立马见效
• 客服响应速度比外卖小哥还快，上次凌晨3点提工单居然秒回

新手建议先用动态住宅（标准版）试水，业务量大的直接上企业版。别小看那2块钱差价，企业版多了IP存活保障，关键时刻不掉链子。

说点掏心窝的话

代理IP这玩意儿就像买保险，平时觉得浪费钱，等真被封IP的时候哭都来不及。见过太多人贪便宜用免费代理，结果数据采集到一半整个库都被污染。记住，靠谱的代理服务是爬虫的命根子，省啥都不能省这个。