Python网络抓取教程: 从入门到精通

一、为啥你的爬虫总被网站拉黑？

搞爬虫的朋友都懂，最头疼的就是刚跑两分钟，IP就被封得死死的。网站又不是傻子，见着同一个IP疯狂请求，直接关门放狗。这时候就需要找个替身帮你扛雷——代理IP就是个绝佳选择。

举个栗子，你要抓某电商平台价格。用自己家宽带连着请求50次，服务器马上给你贴封条。要是每次请求都换个IP地址，网站压根分不清是真人还是程序，这招叫分布式隐身术。

import requests
from itertools import cycle

 ipipgo提供的API接口（记得换成自己账号）
proxy_pool = [
    'http://username:password@gateway.ipipgo.com:8001',
    'http://username:password@gateway.ipipgo.com:8002'
]

proxy_cycle = cycle(proxy_pool)

for page in range(1, 101):
    try:
        proxy = next(proxy_cycle)
        response = requests.get(
            f'https://example.com/products?page={page}',
            proxies={'http': proxy},
            timeout=10
        )
        print(f'第{page}页抓取成功')
    except:
        print('这个IP挂了，马上换下一个')

二、代理IP到底怎么选才靠谱

市面上代理服务商多如牛毛，但坑也不少。有些免费代理看着美，实际用起来比蜗牛还慢，还有些压根就是假IP。这里教大家几个避坑绝招：

重点说下动态住宅代理，这种IP和普通用户上网的IP一模一样，网站根本查不出异常。ipipgo这类服务商还提供自动更换间隔设置，建议每5-10次请求换一次IP。

三、手把手教你配代理

这里拿Python的requests库举例，其实原理都相通。关键是要处理好异常重试机制，别因为某个IP失效就整个程序崩掉。

import random
import time

def smart_crawler(url):
    max_retry = 3
    for _ in range(max_retry):
        try:
             随机选个代理
            proxy = random.choice(ipipgo_proxies)
            
            response = requests.get(
                url,
                proxies={'http': proxy},
                headers=random_headers,   记得伪装请求头
                timeout=8
            )
            
            if response.status_code == 200:
                return response.text
                
        except Exception as e:
            print(f"出错啦：{str(e)}")
            time.sleep(2)   失败后等会儿再试
    
    return None

注意这个随机睡眠的小技巧，别总在整点时间请求，容易被反爬系统逮到规律。建议在2-5秒之间随机停顿，模拟真人操作。

四、实战：电商价格监控案例

假设我们要监控某平台10个商品的价格变化，每天抓取3次。直接上干货代码：

import schedule
from concurrent.futures import ThreadPoolExecutor

product_ids = ['123', '456', '789']   示例商品ID

def fetch_price(product_id):
    proxy = ipipgo.get_proxy()   调用ipipgo的API获取新IP
    try:
        resp = requests.get(
            f'https://shop.com/product/{product_id}',
            proxies={'http': proxy},
            headers={'User-Agent': 'Mozilla/5.0'}
        )
         这里写解析价格的代码
        save_to_database(product_id, price)
    except:
        ipipgo.report_failure(proxy)   标记失效IP

def job():
    with ThreadPoolExecutor(max_workers=5) as executor:
        executor.map(fetch_price, product_ids)

 每天8点、14点、20点执行
schedule.every().day.at("08:00").do(job)
schedule.every().day.at("14:00").do(job)
schedule.every().day.at("20:00").do(job)

while True:
    schedule.run_pending()
    time.sleep(1)

这个方案有三大亮点：多线程代理ip、自动更换IP、异常IP上报。用ipipgo的API还能自动回收失效代理，保证采集任务不中断。

五、常见问题QA

Q：代理IP突然不能用咋整？
A：立即切换新IP，并联系服务商。像ipipgo有24小时技术支持，响应速度比同行快一倍

Q：HTTP和SOCKS5协议选哪个？
A：普通网页用HTTP足够，需要传输加密数据选SOCKS5。ipipgo两种协议都支持，后台可随时切换

Q：免费代理和付费代理差别大吗？
A：天上地下的区别！免费代理平均存活时间不到1小时，付费代理像ipipgo的IP能用3-7天。重要项目千万别省这个钱

Q：为什么推荐ipipgo？
A：三个硬核理由：1.独享IP不排队 2.全国30省IP随意选 3.流量不设上限。用过就知道比自建代理池省心得多

六、防封终极心法

最后传授个组合拳：

1. 代理IP+随机请求头双保险
2. 重要任务开启ipipgo的IP轮换模式
3. 控制访问频率，别把网站服务器搞宕机
4. 定期清理Cookies，别留小尾巴

记住做爬虫要讲武德，别逮着一个网站往死里薅。遵守robots协议，该有的设置不能少。用对工具加上正确方法，采集数据才能细水长流。