pyspider 设置代理ip：PySpider爬虫框架代理IP配置与使用指南

手把手教你用PySpider挂代理

搞爬虫最怕啥？被封IP绝对排前三！今天咱们唠唠怎么在PySpider里给爬虫穿马甲——用代理IP保平安。别被那些复杂教程吓到，其实配置代理比煮泡面还简单。

为啥非得用代理IP？

举个栗子：你每天去超市抢特价鸡蛋，连续三天穿同一件红衣服去，第四天保安直接把你拦外边儿了。代理IP就是给爬虫准备的一柜子衣服，每次出门换着穿。用ipipgo家的代理，相当于直接租了个服装店，全球200+国家的”衣服”随便挑。

三步搞定代理配置

 先导入必备工具包
from pyspider.libs.base_handler import 

class MyCrawler(BaseHandler):
    crawl_config = {
        'proxy': 'http://username:password@proxy_ip:port',   这里填ipipgo提供的代理地址
        'headers': {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
        }
    }
    
    @every(minutes=2460)
    def on_start(self):
        self.crawl('http://目标网站.com', callback=self.index_page)

重点说明：代理地址在ipipgo后台获取时，记得选HTTP/HTTPS协议的格式。动态住宅IP建议用动态住宅（标准）套餐，7.67元/GB的价格对新手特友好。

动态IP自动切换妙招

想实现每次请求自动换IP？用ipipgo的API接口现抓现用：

import random

def get_proxy():
     这里调用ipipgo的API接口
    proxy_list = ["ip1:port","ip2:port","ip3:port"] 
    return random.choice(proxy_list)

class AutoProxyHandler(BaseHandler):
    
    def make_request(self, url, callback):
        return Request(url, 
                      callback=callback,
                      proxy=get_proxy())   每次请求自动换装

避坑指南（QA环节）

Q：代理突然失效咋整？
A：ipipgo客户端自带心跳检测，发现IP挂了会自动切新IP，跟手机自动连WiFi一个道理。

Q：怎么测试代理是否生效？
A：在爬虫里加个测试步骤：

self.crawl('http://httpbin.org/ip', callback=self.check_ip)

def check_ip(self, response):
    print(response.text)   这里显示的IP应该变成代理IP

套餐怎么选不踩雷

最后叨叨句：别在免费代理上浪费时间，之前我测试过，10个免费代理有8个是坏的。ipipgo的TK专线实测延迟不到200ms，跟本地网络差不多快。他们客服还能给定制方案，上次有个兄弟要爬东南亚电商数据，直接给配了跨境专线。