Ejemplos de la biblioteca de peticiones Python: tutoriales de peticiones GET/POST

En primer lugar, ¿por qué su rastreador siempre es arrastrado por el sitio?

Los rastreadores a menudo se encuentran con 403 prohibido, a veces sólo agarrar dos páginas de datos en la IP bloqueada. esta vez el proxy IP es su salvavidas. Es como jugar un juego para abrir un pequeño número, con una dirección IP de acceso diferente, el sitio no te reconocerá como la misma persona.

Por ejemplo, acceder con una IP nativa es como entrar en un parque de atracciones con un carné de identidad, y seguro que te llaman la atención si lo pasas decenas de veces al día. Si cambias el punto de entrada (IP proxy) cada vez, el administrador no podrá descubrir tu camino. He aquí una buena ideaipipgoServicio proxy doméstico, su reserva de IP es tan profunda que obtienen un chaleco nuevo con cada solicitud.

Segundo, práctica de solicitud GET: con rastreo web proxy

Empecemos por lo básico. Cuando envíes peticiones GET con requests, recuerda rellenar la configuración del proxy en el parámetro proxies. Ten en cuenta que el formato del proxy esProtocolo://nombredeusuario:contraseña@dirección:puertoEs fácil enamorarse de este lugar.

solicitudes de importación

proxies = {
    'http': 'http://user123:pass456@proxy.ipipgo.io:8000',
    https: http://user123:pass456@proxy.ipipgo.io:8000
}

resp = requests.get('https://目标网站.com', proxies=proxies, timeout=10)
print(resp.text)

Resáltalo tres veces:¡Debe añadirse el parámetro de tiempo de espera! ¡Debe añadirse! ¡Debe añadirse! Algunos nodos proxy pueden ser bruscos y atascar tu aplicación sin un timeout. Si usas el proxy de ipipgo, puedes acortar el tiempo de espera adecuadamente, y sus nodos responden con una velocidad sólida.

En tercer lugar, POST solicitud de cómo jugar el proxy?

Las peticiones POST se configuran de forma muy similar a las GET, salvo que manejan un parámetro de datos adicional. Aquí hay una trampa a tener en cuenta:Sea cual sea el protocolo que utilice el sitio de destino, el proxy debe coincidir con él.. Por ejemplo, si el sitio es https, el proxy debe admitir el reenvío https.

data = {'nombre de usuario': 'test', 'contraseña': '123456'}
headers = {'Content-Type': 'application/json'}

resp = requests.post(
    https://登录接口.com',
    json=datos,
    proxies=proxies,
    headers=cabeceras, verify=False
    verify=False Desactivar temporalmente la verificación de certificados durante la depuración.
)

Con el proxy de ipipgo se recomienda mantener verify=True, su proxy viene con certificado SSL, no es necesario desactivar la verificación de seguridad. Cuando se encuentra con la necesidad de iniciar sesión en el sitio, recuerde llevar la cookie, de lo contrario es fácil ser anti-escalada mecanismo incautado.

IV. Guía de selección del tipo de IP proxy

Hay tres tipos de agentes comunes en el mercado, utilicemos la tabla para comparar:

ipipgo familia es un alto alijo de agentes, especialmente adecuado para la necesidad de la recogida estable a largo plazo de la escena. La prueba real con su proxy solicitud continua 100 veces, el sitio de destino no activó el mecanismo de verificación.

V. Pautas de primeros auxilios en situaciones de vuelco habituales

P：¿Por qué no puedo conectarme cuando mi agente está emparejado?
A：先检查代理格式，特别注意特殊字符要用%转义。比如密码里有@符号的话，得改成%40。

P: ¿Qué ocurre si los datos devueltos son confusos?
R: Añade 'Accept-Encoding': 'identity' en la cabecera de la petición para forzar la desactivación de la compresión. O utilice resp.content.decode('correct encoding') para descodificar manualmente.

P: ¿Cómo puedo comprobar si el agente está en vigor?
R: Visite http://httpbin.org/ip para ver si la IP devuelta es una IP proxy. Se recomienda utilizar la interfaz de verificación proporcionada por ipipgo, que puede devolver directamente la información del nodo proxy.

VI. Juego de actualización: sustitución automática del conjunto de agentes

Usar un solo proxy es fácil de detectar, tienes que conseguir un pool de proxies para rotar. Usa la API de ipipgo para obtener proxies dinámicamente, escogiendo una nueva IP al azar para cada petición:

importar aleatorio

def get_proxy(): proxy_list = requests.get('').json()
    proxy_list = requests.get('https://api.ipipgo.com/get_proxy').json()
    return random.choice(lista_proxy)

for _ in range(10): proxy_actual = get_proxy()
    proxy_actual = get_proxy()
    resp = requests.get(url, proxies=proxy_actual)
     Procesamiento de los datos de respuesta

La velocidad de retorno de la API de ipipgo es muy rápida, respuesta medida en milisegundos, no afecta a la eficacia de la recogida.

VII. Consejos para evitar los baches

1. Error de certificado SSL, no se apresure a verificar = Falso, compruebe primero si el proxy soporta HTTPS
2. Acceso de alta frecuencia para recordar establecer un retardo aleatorio, no envíe una solicitud como una ametralladora.
3. Se recomienda a los proyectos importantes que adquieran el paquete proxy exclusivo de ipipgo, la estabilidad es varios niveles superior a la del proxy compartido.
4. Compruebe periódicamente la disponibilidad del agente y elimine los nodos averiados a tiempo.

Por último, me gustaría decir que la elección del proveedor de servicios de proxy derecho puede ahorrar la mitad de los problemas. He utilizado siete u ocho servicios de proxy, ipipgo en la pureza IP y la estabilidad de la conexión de esto realmente puede jugar, hacer proyectos a largo plazo hermano puede centrarse en considerar sus paquetes.