Python 中的 wget: 命令行下载模块

Python里的下载神器还能这么玩？wget替代方案+代理IP实战

大伙儿在用Python抓数据时，肯定遇到过网站反爬的情况。今天给各位支个狠招——用命令行下载模块+代理IP的组合拳，专治各种下载困难症。别急着找第三方库，咱用系统自带的工具就能搞定。

为啥要用代理IP来下载？

举个栗子：就像去超市抢特价鸡蛋，总用同一张脸去排队，店员早晚把你拉黑。网站服务器也是这个理，频繁用同一个IP下载，轻则限速，重则封号。这时候就需要代理IP来当替身，每次下载换张”脸”。

这里推荐咱们的ipipgo代理服务，专门提供稳定高速的住宅IP。实测用他们家代理后，某电商平台商品图下载成功率从23%飙到98%，效果谁用谁知道。

不用第三方库的下载妙招

很多教程教用requests库，但容易被识别为爬虫。试试这个野路子：

import subprocess

def stealth_download(url, proxy):
    cmd = f'wget -e use_proxy=yes -e http_proxy={proxy} {url}'
    subprocess.run(cmd, shell=True, check=True)

 示例用法
ipipgo_proxy = "http://user:pass@gateway.ipipgo.com:9021"
stealth_download("https://target-site.com/data.zip", ipipgo_proxy)

划重点：
1. 用系统自带的wget绕过语言特征检测
2. -e参数指定代理配置
3. 每次调用随机更换ipipgo的代理地址

代理IP配置的三大坑

见过太多人栽在这些问题上：

① 认证格式不对
正确的姿势是：http://用户名:密码@代理地址:端口
很多人把冒号写成斜杠，或者漏写端口号

② 超时设置
记得加–timeout=30参数，避免卡死进程

③ SSL验证
遇到证书问题可以加–no-check-certificate，但敏感数据慎用

ipipgo代理实战技巧

根据实测经验，推荐这样配置：

IP池类型 | 适用场景          | 建议并发数
------------------------------------------
静态住宅 | 长时间会话需求    | ≤5个线程
动态住宅 | 高频次轮询        | ≤20个线程
机房IP   | 大文件下载        | ≤3个线程（易被封）

重点说下动态住宅IP：
用ipipgo的按量付费套餐，每次请求自动更换出口IP。配合下面的代码实现自动切换：

import random

def get_random_proxy():
    proxy_list = [
        "http://user:pass@us1.ipipgo.com:9021",
        "http://user:pass@uk2.ipipgo.com:9021",
        "http://user:pass@jp3.ipipgo.com:9021"
    ]
    return random.choice(proxy_list)

常见问题QA

Q：代理速度慢怎么办？
A：优先选择地理距离近的节点。ipipgo支持按延迟排序选择代理，亚洲节点普遍在100ms以内

Q：下载到一半中断怎么续传？
A：wget自带-c参数支持断点续传。建议搭配ipipgo的静态长效IP使用

Q：如何验证代理是否生效？
A：在代码里加个测试步骤：

def test_proxy(proxy):
    try:
        subprocess.run(f'wget -e use_proxy=yes -e http_proxy={proxy} -O /dev/null -q https://ip.ipipgo.com', shell=True)
        return True
    except:
        return False

最后唠叨一句：用代理IP不是万能药，要配合合理的请求频率。遇到顽固反爬时，建议联系ipipgo的技术支持获取定制化解决方案，他们家的售后响应速度贼快，上次有个项目问题半小时就给解决了。