curl follow 302 redirect: configuración de salto automático

Cuando curl encuentra un salto 302, ¿cómo puede ayudar una IP proxy?

Una gran cantidad de hermanos de captura de datos se han encontrado con esta situación: solicitar una URL con curl, el código de estado HTTP de retorno es 302, los resultados de los datos no pueden conseguir muertos. En este momento tenemos que sacrificar el proxy IP esta arma mágica, sobre todo como ipipgo este tipo de proveedores de servicios proxy especiales de alta calidad.

 Petición normal sin proxy
curl http://example.com/login

 La forma correcta de hacerlo con proxy ipipgo
curl -x http://用户名:密码@proxy.ipipgo.cc:2333 -L http://example.com/login

vigilar cuidadosamente-Parámetro LEste interruptor de llave, es el interruptor que permite curl para seguir automáticamente la ejecución de 302. Sin embargo, esto no es suficiente, algunos sitios detectarán IP solicitada con frecuencia, esta vez para confiar en la piscina de proxy de ipipgo para.Rotación de los PI exportadorespara evitar ser bloqueado por el sitio de destino.

Cuatro pasos para una configuración real

He aquí un escenario de configuración muy útil para mostrar a los chicos (tomar python por ejemplo):

solicitudes de importación

proxies = {
  'http': 'http://user123:pass456@proxy.ipipgo.cc:2333',
  https: http://user123:pass456@proxy.ipipgo.cc:2333
}

resp = requests.get('http://target.com',
                   proxies=proxies, allow_redirects=True, esto es equivalente a curl-Links.
                   allow_redirects=True, esto equivale a -L para curl
                   timeout=15)

Aquí viene el punto:
1. La dirección proxy debe ser rellenada en las tres piezas dadas por ipipgo: número de cuenta, contraseña y dirección del servidor.
2. El ajuste del tiempo de espera nunca debe superar los 20 segundos, de lo contrario es fácil que te arrastre a la muerte.
3. Si se produce un error de certificado SSL, añadaverificar=Falseparámetros

Manual sobre desminado de trampas comunes

Una sesión de GC imprescindible para principiantes

P: ¿Todavía tengo que manejar las cookies por mí mismo después de usar ipipgo proxy?
R: Dependiendo de la situación específica, se recomienda utilizar el objeto Session de la biblioteca Requests para gestionarlo automáticamente, lo que ahorra mucho trabajo en comparación con el procesamiento manual.

Q：¿Por qué sigue siendo reconocido por el sitio web después de configurar el proxy?
R: El 80% de ellos están usando proxies transparentes, cámbiate a la gran cantidad de paquetes proxy de ipipgo, y deshazte de todas esas cabeceras X-Forwarded-For.

P: ¿Tengo que cambiar la IP del proxy con frecuencia?
R: Si usas ipipgo, no tienes que cambiarla manualmente, y su pool dinámico cambia automáticamente la IP de exportación por defecto en 5 minutos, lo que te ahorra más esfuerzo que tirarla tú mismo.

Di algo desde el corazón.

Participó en la tecnología de los más temerosos de tirar la mitad de un día no resuelve el problema, acabo de empezar a utilizar rizo para capturar los datos, sólo 302 saltos en la tarjeta durante tres días. Más tarde se encontróUtilizar un buen proxy IP es el camino a seguirLa primera es la que tiene un mecanismo de reintento automático como ipipgo, que puede cortar automáticamente la línea cuando el sitio de destino se está masturbando, lo que es mucho más fiable que escribir el código de reintento por ti mismo.

Un último recordatorio:
1. Utilice el paquete de pago por uso de ipipgo durante la fase de prueba, ¡no compre una suscripción anual!
2. Tareas importantes recuerde abrir copia de seguridad de doble línea, en el código con dos direcciones proxy
3. Recuerde comprobar las estadísticas de uso cada semana, no espere a que se detenga el servicio para descubrir que el tráfico está sobreutilizado.