JSON parsing using proxy IPs (a super-detailed how-to)

Enseñanza práctica de la utilización de los datos de captación de IP proxy

Ahora se dedican a rastrear los hermanos y hermanas deben entender, el servidor no se mueve para darle el bloqueo de IP, esta vez es necesario encontrar un proveedor de servicios proxy IP fiable, como la industria reconocida la estabilidad de laipipgoSu grupo de IP dinámicas es lo suficientemente grande como para eludir el mecanismo anti rastreo.

Por ejemplo, si quieres coger el precio de los bienes en un determinado tesoro, utilice su propia IP para solicitar una docena de veces en una fila para estar seguro de ser prohibición, pero si cada solicitud es cambiar un ipipgo proporciona una IP proxy, el servidor pensó que era un usuario diferente en la visita, la tasa de éxito directamente se duplicó.

importar peticiones
from json import JSONDecoder

proxy = {
    http': 'http://user:pass@gateway.ipipgo.com:9020', 'https': 'http://user:pass@gateway.ipipgo.com:9020'
    https': 'https://user:pass@gateway.ipipgo.com:9020'
}

resp = requests.get('https://api.example.com/data', proxies=proxy)
data = JSONDecoder().decode(resp.text)

Guía para evitar errores en la configuración de IP proxy

He aquí algunos campos de minas habituales en los que se meten los novatos:

Como recordatorio especial, cuando utilice el paquete de auto-rotación de ipipgo, recuerde activar la retención de sesión en el código. Su enrutamiento inteligente cambia automáticamente el nodo óptimo, lo que le ahorra mucho trabajo en comparación con el cambio manual de IPs.

Caso práctico: control de precios en el comercio electrónico

Recorramos el proceso con un escenario real:

1. Obtenga 20 IPs de alto alijo del backend ipipgo.
2. Configuración de la cabecera User-Agent aleatoria
3. Seleccionar aleatoriamente una IP para cada solicitud
4. Analizar los datos JSON devueltos
5. Cambio automático de IP alternativas en caso de anomalía

importar aleatorio

ip_pool = [
    '61.219.12.34:8800',
    '103.78.54.21:8800', ...
    ... Otras IPs proporcionadas por ipipgo
]

def obtener_datos(url).
    probar.
        proxy = {'https': random.choice(ip_pool)}
        resp = requests.get(url, proxies=proxy, timeout=8)
        return resp.json()
    excepto.
        print("La IP actual no funciona, cambio automático...")
        return get_data(url) reintento recursivo

Consejos imprescindibles para la depuración

¿Informa repentinamente de errores al analizar JSON? Realice primero estos tres pasos:

1. Imprima la respuesta original para ver si obtuvo la página de validación.
2. Comprobación del formato con herramientas de validación JSON en línea
3. Probar la disponibilidad de IPs proxy (ipipgo tiene una herramienta de detección en tiempo real en segundo plano)

Cuando recibas un extraño error 403, es un 80% probable que la cabecera de la petición exponga la identidad del rastreador. Recuerde añadir:

cabeceras = {
    
    'Referer': 'https://www.google.com/',
    'DNT': '1' Desactivar seguimiento
}

QA Time: Preguntas y respuestas de alta frecuencia

P: ¿Las IP proxy no funcionan cuando las utilizo?
R: Elija el paquete empresarial de ipipgo, cada una de sus IPs puede tener una validez de 5-30 minutos, ¡y se actualizará automáticamente antes de que caduque!

Q：¿Los datos devueltos se vuelven confusos de repente?
R: 80% es un problema de codificación, primero use resp.content.decode ('utf-8') intente, no en el cambio gbk

P: ¿Cómo puedo confirmar si la IP proxy es efectiva?
R: Añade una petición de prueba en el código: print(requests.get('http://ip.ipipgo.com', proxies=proxy).text)

Juego de actualización: arquitectura de rastreo distribuido

Cuando la cantidad de aumento de datos, se recomienda ir en una solución distribuida. El acceso a la API ipipgo al clúster de rastreo, cada nodo recibe automáticamente IP proxy. su interfaz de apoyo concurrente 100 + solicitudes por segundo, mantenga completamente proyecto rastreador a gran escala.

Por último, compruebe regularmente las estadísticas de uso del backend de ipipgo. Sus informes visuales hacen un trabajo furtivo, el consumo de tráfico, IP tasa de éxito de estos indicadores de un vistazo, fácil de ajustar la estrategia de manera oportuna.