爬虫代理IP格式是什么，requests库怎么正确传参

爬虫代理IP的正确格式

当你使用爬虫程序时，给代码配置代理IP就像给快递员指定送货路线。代理IP的格式决定了你的请求能否正确通过代理服务器转发。最常见的格式有以下几种：

基础格式：最简单的格式就是IP-Adresse:AnschlussnummerZum Beispiel192.168.1.1:8080。如果你的代理服务需要认证，格式就是用户名:密码@IP地址:端口号Zum Beispieluser123:pass456@192.168.1.1:8080.

完整URL格式：在使用requests等HTTP库时，通常需要将上述信息组合成一个完整的URL。根据代理协议的不同，格式也不同：

• HTTP-Proxy: http://用户名:密码@IP地址:端口号
• HTTPS-Proxy: https://用户名:密码@IP地址:端口号
• SOCKS5-Agent: socks5://用户名:密码@IP地址:端口号

例如，一个完整的HTTP代理地址可能长这样：http://user123:pass456@proxy.ipipgo.com:8000。在实际使用中，强烈建议使用需要用户名密码认证的代理，这样更安全，IP也更不容易被目标网站封禁。

requests库设置代理IP的核心方法

Python的requests库是通过Vollmachten参数来传递代理设置的。这个参数接收一个字典（dict），字典的键是协议类型（如’http’, ‘https’），值就是对应的代理URL。

最基础的用法：

import requests

proxies = {
    'http': 'http://user:pass@proxy.ipipgo.com:8080',
    'https': 'https://user:pass@proxy.ipipgo.com:8080'
}

response = requests.get('http://httpbin.org/ip', proxies=proxies)
print(response.text)

这段代码为HTTP和HTTPS请求都设置了同一个代理。如果你的代理服务器同时支持两种协议，这样写没问题。

更规范的写法：为了避免意外，最好明确区分不同协议的代理地址，即使它们相同。

proxies = {
    'http': 'http://你的用户名:你的密码@代理服务器IP:端口',
    'https': 'https://你的用户名:你的密码@代理服务器IP:端口'
}

处理不同类型的代理协议

requests库本身只支持HTTP/HTTPS代理。如果你需要使用更通用的SOCKS5代理，需要安装额外的库：Anfragen[Socken].

安装命令：

pip install requests[socks]

安装后，使用方法与HTTP代理完全一样，只需将URL的协议改为Socken5即可：

proxies = {
    'http': 'socks5://user:pass@proxy.ipipgo.com:1080',
    'https': 'socks5://user:pass@proxy.ipipgo.com:1080'
}

像ipipgo这样的优质代理服务商，通常会同时提供HTTP(S)和SOCKS5协议支持，用户可以根据自己的业务场景灵活选择。SOCKS5协议不关心应用层协议，兼容性更好。

实战：为Session对象设置代理

如果你需要连续发送多个请求，使用requests.Session()会话对象是更好的选择。它可以保持一些通用参数，比如代理设置，避免每次请求都要重复写。

import requests

 创建一个会话对象
session = requests.Session()

 为整个会话设置代理
session.proxies.update({
    'http': 'http://user:pass@proxy.ipipgo.com:8080',
    'https': 'https://user:pass@proxy.ipipgo.com:8080'
})

 之后这个session发出的所有请求都会自动使用代理
try:
    response1 = session.get('http://httpbin.org/ip')
    print("第一次请求IP:", response1.json().get('origin'))

    response2 = session.get('http://httpbin.org/ip')
    print("第二次请求IP:", response2.json().get('origin'))

except requests.exceptions.RequestException as e:
    print(f"请求出错: {e}")

这种方法特别适合在使用ipipgo的Statische Wohnungsvermittler时，你需要保持一个IP地址一段时间（粘性会话），进行一系列连续操作的情况。

为什么选择ipipgo的代理IP

在爬虫项目中，代理IP的质量直接决定了项目的成败。ipipgo提供的代理IP服务具有以下突出优势，非常适合爬虫场景：

1. 高匿名性： ipipgosDynamische Wohnungsvermittlerim Gesang antwortenStatische Wohnungsvermittler的IP均来自真实的家庭网络，目标网站无法识别你使用了代理，极大降低了被识别和封禁的风险。

2. 海量IP池与精准定位： ipipgo的动态住宅代理IP资源总量高达9000万+，覆盖全球220+国家和地区。这对于需要模拟不同地区用户访问的爬虫来说至关重要。你可以轻松指定国家、甚至城市级别的IP，获取地域相关的精准数据。

3. 高成功率与稳定性： Vor allem von ipipgo.Statische Wohnungsvermittler，具备99.9%的可用性，由本土运营商提供，纯净度高。适合需要长时间稳定连接的业务，比如监控类爬虫。

4. 灵活的会话控制： 支持轮换IP（每个请求都换IP）和粘性会话（在指定时间内保持同一IP），你可以根据目标网站的反爬策略自由调整，比如在频繁访问时使用轮换IP，在模拟登录后操作时使用粘性会话。

Häufig gestellte Fragen QA

Q1: 测试时程序报错，提示代理连接失败，怎么办？

A1：请逐一检查：1）代理IP、端口、用户名、密码是否完全正确，特别是特殊字符是否需要URL编码；2）你的本地网络环境是否能正常连接到代理服务器；3）代理服务是否已生效或有余量。可以先用浏览器配置代理测试连通性。

Q2: 使用了代理，但返回的状态码依然是4xx/5xx，是什么原因？

A2：这通常不是代理本身的问题。4xx错误（如403、429）大概率是目标网站识别出了爬虫行为并拒绝了请求，即使你用了代理。这时需要考虑优化爬虫策略，如降低请求频率、完善请求头（User-Agent）、使用ipipgo这种更高匿名性的住宅IP。5xx错误可能是目标网站服务器问题。

F3: Sollte ich mich für eine dynamische oder eine statische Wohnungsvermittlung entscheiden?

A3：这取决于你的业务场景：

Dynamische Wohnungsvermittler：IP不断变化，适合大规模数据采集、价格监控、SEO分析等需要极高匿名性、避免IP被封的场景。

Statische Wohnungsvermittler：IP固定且长期稳定，适合社交媒体管理、广告验证、需要保持登录状态的账号操作等场景。

ipipgo两种类型都有提供，你可以根据实际需求选择。

Q4: 代码中直接写密码不安全，有什么好办法？

A4：绝对不要将密码硬编码在代码里然后上传到GitHub等平台！建议使用环境变量或配置文件来管理敏感信息。例如：

import os

proxy_user = os.getenv('PROXY_USER')
proxy_pass = os.getenv('PROXY_PASS')
proxy_url = f"http://{proxy_user}:{proxy_pass}@proxy.ipipgo.com:8080"

proxies = {
    'http': proxy_url,
    'https': proxy_url
}

然后在运行程序前，在终端设置环境变量。