如何从网站爬取图片？Python实战教程与代理IP防封

为什么要用代理IP爬取图片？

当你频繁从同一个网站下载图片时，服务器会记录你的IP地址。如果短时间内请求次数过多，服务器会认为这是异常行为，轻则限制访问速度，重则直接封禁你的IP。这就像一家商店的店员，如果看到同一个人每隔几秒钟就进店一次，自然会起疑心。

使用代理IP，相当于每次访问都换了一副新面孔。你的请求通过不同的IP地址发出，服务器看到的是来自世界各地“不同用户”的正常访问，从而大大降低了被识别和封禁的风险。这对于需要大规模、长时间爬取图片的项目来说，几乎是必不可少的步骤。

准备工作：安装必要的Python库

在开始写代码之前，我们需要确保环境里安装了以下几个关键的Python库。打开你的命令行终端（Command Prompt或Terminal），输入以下命令进行安装：

pip install requests beautifulsoup4

requests 库负责发送网络请求来获取网页内容和图片数据。beautifulsoup4 库则像一个智能分析器，能帮助我们轻松地从复杂的网页代码中找出所有图片的链接。

核心步骤一：解析网页并提取图片链接

我们的首要任务是找到图片在网络上的“门牌号”——也就是它的URL地址。以下代码演示了如何从一个网页中提取所有图片的链接。

import requests
from bs4 import BeautifulSoup

def get_image_urls(page_url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }
    try:
         发送请求获取网页内容
        response = requests.get(page_url, headers=headers)
        response.raise_for_status()   如果请求失败（如404），会抛出异常

         使用BeautifulSoup解析HTML
        soup = BeautifulSoup(response.text, 'html.parser')

         查找所有的img标签，并提取src属性（图片链接）
        image_urls = []
        for img in soup.find_all('img'):
            src = img.get('src')
            if src:   确保src不为空
                 处理相对路径（比如/src/img.jpg）为绝对路径（https://example.com/src/img.jpg）
                full_url = requests.compat.urljoin(page_url, src)
                image_urls.append(full_url)

        return image_urls

    except requests.exceptions.RequestException as e:
        print(f"获取页面时出错: {e}")
        return []

 使用示例
urls = get_image_urls('https://example.com/gallery')
for url in urls:
    print(url)

这段代码的核心是soup.find_all(‘img’)，它能够找出网页中所有的<img>标签。我们通过循环遍历这些标签，并把它们的src属性值（即图片地址）保存下来。

核心步骤二：使用代理IP下载图片

现在到了最关键的一步：使用代理IP来下载图片。我们将使用ipipgo的代理服务来确保爬取过程的稳定和安全。这里以ipipgo的静态住宅代理为例，因为它拥有极高的稳定性和匿名性，非常适合这种需要可靠连接的任务。

def download_image_with_proxy(img_url, save_path, proxy_config):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
    }
    try:
         通过代理发送请求
        response = requests.get(img_url, headers=headers, proxies=proxy_config, timeout=30)
        response.raise_for_status()

         将图片数据保存到本地文件
        with open(save_path, 'wb') as f:
            f.write(response.content)
        print(f"图片已成功下载: {save_path}")

    except Exception as e:
        print(f"下载图片失败 {img_url}: {e}")

 ipipgo代理配置示例（请替换为你的实际信息）
 格式：协议://用户名:密码@代理服务器地址:端口
proxy_config = {
    'http': 'http://username:password@gateway.ipipgo.com:8080',
    'https': 'http://username:password@gateway.ipipgo.com:8080'
}

 结合第一步，完成整个流程
image_list = get_image_urls('你的目标网页地址')
for index, img_url in enumerate(image_list):
    filename = f"image_{index}.jpg"   生成文件名
    download_image_with_proxy(img_url, filename, proxy_config)

注意看requests.get方法中的proxies=proxy_config参数，这就是启用代理的关键。代码会将所有网络请求转向ipipgo的代理服务器，再由代理服务器去目标网站取回图片数据。这样，目标网站记录下的访问IP就是代理服务器的IP，而不是你的真实IP。

如何设置ipipgo代理参数？

要正确使用ipipgo，你需要根据购买的服务类型配置参数。不同的业务场景适合不同的代理产品。

你可以在ipipgo的用户后台找到为你单独生成的代理地址、端口、用户名和密码，将它们填入上述代码的proxy_config变量中即可。

完整实战代码示例

将前面两步组合起来，并加入一些错误处理和延时控制，就是一个比较健壮的图片爬虫了。

import requests
from bs4 import BeautifulSoup
import time
import os

def main():
     创建保存图片的文件夹
    if not os.path.exists('downloaded_images'):
        os.makedirs('downloaded_images')

     配置ipipgo代理
    proxies = {
        'http': 'http://你的用户名:你的密码@gateway.ipipgo.com:8080',
        'https': 'http://你的用户名:你的密码@gateway.ipipgo.com:8080'
    }

    target_url = '你要爬取的相册或网页地址'

     获取图片链接列表
    img_urls = get_image_urls(target_url)
    print(f"共找到 {len(img_urls)} 张图片")

     遍历下载每张图片
    for i, img_url in enumerate(img_urls):
        print(f"正在下载第 {i+1} 张图片...")
        file_path = f"downloaded_images/picture_{i+1}.jpg"

         调用带代理的下载函数
        download_image_with_proxy(img_url, file_path, proxies)

         每下载一张图片后暂停1-3秒，模拟人类行为，进一步降低被封风险
        time.sleep(2)

    print("所有图片下载完成！")

if __name__ == "__main__":
    main()

这个脚本包含了从获取链接到通过代理下载的全流程，并加入了time.sleep(2)这样的延时，让请求间隔看起来更自然，是避免触发反爬虫机制的实用技巧。

常见问题与解决方案（QA）

Q1: 代码运行后报错，提示代理连接失败？

A1：请按以下步骤排查：1）检查代理地址、端口、用户名和密码是否完全正确，特别是特殊字符是否需要转义。2）确认你的ipipgo服务套餐在有效期内且流量充足。3）尝试ping一下代理服务器地址，看网络是否通畅。

Q2: 有的图片下载下来是坏的，或者大小是0KB？

A2：这种情况通常是因为图片链接本身有问题，或者网站对图片加载做了特殊处理（如JavaScript动态加载）。可以尝试：1）手动在浏览器中打开那个图片链接，看是否能正常显示。2）检查代码是否正确处理了图片数据的编码，确保是以二进制（’wb’模式）写入文件的。

Q3: 使用代理后速度变慢了怎么办？

A3：代理访问确实会引入一些网络延迟。可以通过选择ipipgo中离你目标网站服务器地理位置更近的节点（如爬取美国网站就用美国代理）来优化速度。对于静态住宅代理，连接建立后会保持稳定的高速。

Q4: 如何应对需要登录才能查看的图片？

A4：这需要维护一个会话（Session）。使用requests.Session()对象，先带着你的账号密码POST到登录页面完成登录，这个Session会自动管理Cookies，然后再用这个带登录状态的Session，配合代理去访问和下载图片。

总结

通过本文的教程，你应该已经掌握了使用Python爬取图片并结合ipipgo代理IP防封的核心方法。关键在于理解代理IP的作用——它不是你直接访问网站，而是委托一个“中间人”去帮你访问，从而保护了你的真实身份。

对于需要高质量、高匿名性代理IP的用户，ipipgo提供的静态和动态住宅代理是可靠的选择。它们源自真实家庭网络，能有效规避大多数反爬虫策略，为你的数据采集项目保驾护航。记住，负责任地爬取，设置合理的请求间隔，尊重网站的robots.txt规则，才是长久之计。