BeautifulSoup爬虫速成：电商数据采集

一、小白也能玩转的爬虫入门姿势

想搞电商数据但不会编程？别慌，咱用Python里的BeautifulSoup这个神器，三脚猫功夫就能上手。先装好这两个东西：requests库负责抓网页，beautifulsoup4负责拆解数据。记住安装命令：

pip install requests beautifulsoup4

举个栗子，想抓某宝商品价格的话，代码骨架大概长这样：

import requests
from bs4 import BeautifulSoup

url = 'https://某电商网站/product/123'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
price = soup.find('span', class_='price').text
print(f'当前价格：{price}')

二、为啥要用代理IP？这是保命符！

很多新手栽跟头就栽在IP被封这事儿上。电商网站都精得很，同一个IP疯狂请求，分分钟给你拉黑名单。这时候就得靠ipipgo的代理IP服务来续命，原理就像打游击战——每次请求都换不同IP地址。

重点说三遍：别用免费代理！别用免费代理！别用免费代理！那些玩意儿要么慢得像蜗牛，要么早被网站标记成黑名单了。用ipipgo的独享代理池，保证每个IP都是新鲜出炉的。

三、代理IP的正确打开方式

以ipipgo为例，拿到API接口后，每次请求前先搞个新IP。重点注意超时设置和异常处理，代码这么改：

proxies = {
    'http': 'http://用户名:密码@ipipgo代理地址:端口',
    'https': 'http://用户名:密码@ipipgo代理地址:端口'
}

try:
    response = requests.get(url, proxies=proxies, timeout=10)
except Exception as e:
    print(f'请求失败，换下一个IP：{str(e)}')

四、实战：抓取商品详情

瞄准某电商页面结构，用开发者工具(F12)找到价格、库存这些数据的HTML标签。比如发现价格藏在<div class=”product-price”>里，代码这么写：

price_tag = soup.select_one('div.product-price')
if price_tag:
    current_price = price_tag.text.strip().replace('￥','')
else:
    print('价格标签可能改版了！')

记得用随机休眠（time.sleep(1~3秒)）模拟真人操作，别跟个机器人似的狂刷。

五、常见问题排雷指南

Q：代理IP突然连不上咋整？
A：先检查账号密码对不对，再试试手动ping代理地址。如果ipipgo后台显示IP正常，可能是目标网站临时抽风。

Q：数据抓回来是乱码？
A：在requests.get()里加上response.encoding = ‘utf-8’，或者根据网页源码里的charset调整。

Q：怎么判断代理是否生效？
A：访问https://httpbin.org/ip，看看返回的IP是不是代理地址。

六、ipipgo的隐藏福利

他们家有个智能切换功能挺省心，遇到IP被封自动换新。最近还出了按量计费套餐，对小规模采集特别友好。新手建议先用体验套餐练手，熟悉了再上大流量包。

最后唠叨句：做数据采集要讲武德，别把人家网站搞崩了。控制请求频率，该用代理的时候别抠门，毕竟ipipgo的代理也不贵，被封号了才真亏大发了。