Rastreador de funciones en la nube: diseño arquitectónico sin estado de AWS Lambda

¿El rastreador de funciones en la nube no puede manejar IPs dinámicas?

Recientemente, una gran cantidad de recopilación de datos de hierro viejo y me quejé, con AWS Lambda para hacer el rastreador es siempre el sitio de destino bloqueado IP. después de todo, la función de la nube es un nuevo entorno cada vez que se inicia, construir sus propios costos de mantenimiento de la piscina de proxy son altos. En este momento es necesario cambiar la forma de pensar -.Soldadura de servicios IP proxy dinámicos directamente en el flujo de trabajo de la función de nube.

El enfoque tradicional es utilizar una IP fija (bloqueada en minutos) o crear tu propio pool de IPs (al diablo el mantenimiento). Ahora es popularSoluciones de proxy listas para usar, especialmente adecuado para Lambda este tipo de facturación por la segunda arquitectura sin estado. Por ejemplo, con el proxy residencial dinámico de ipipgo, cada ejecución de función cambia automáticamente a una nueva IP, y ni siquiera tienes que escribir tu propio mecanismo de reintento.

Tres trucos para que el rastreador de funciones en la nube sea "sigiloso"

El primer truco: inyección dinámica de IP
Durante la fase de inicialización de la función, las direcciones proxy se obtienen en tiempo real a través de la API ipipgo. Tenga cuidado al elegir suspaquete de PI de corta duración(del tipo de caducidad automática de 5 minutos), lo que garantiza que se complete una única tarea y evita la reutilización de IP.

Consejo nº 2: Confusión en la solicitud de huellas dactilares
Junto con la sustitución de IP proxy, ajustada aleatoriamente cada vez:

Consejo nº 3: Tolerancia a fallos distribuida
Establece el número máximo de reintentos de Lambda en 3, cuando se detecta un bloqueo IP:
1. Destruir inmediatamente la instancia de la función actual
2. Activación de nuevas llamadas a funciones
3. Las nuevas instancias obtienen automáticamente nuevas IP proxy
Con este combo, la tasa de éxito se puede mencionar por encima de 92%.

guía práctica de acceso al ipipgo

Tome Python por ejemplo, y haga coincidir la configuración en Lambda así:

importar peticiones
from ipipgo import get_proxy este es su SDK oficial

def handler(event, context): proxy = get_proxy(type='dynamic', region='us')
    proxy = get_proxy(type='dynamic', region='us')
     El caso es que hay que configurar el tiempo de espera para que se desconecte automáticamente
    session = requests.Session()
    session.proxies = {"https": proxy}
    resp = session.get('Sitio de destino', timeout=(3.1, 6))
    devolver resp.text

prestar atención aCierre de la agrupación de conexiones(para evitar residuos de IP), se recomienda crear una nueva sesión para cada petición. El SDK de ipipgo tiene autenticación automática incorporada, por lo que no tendrá que ocuparse usted mismo de las cadenas de autenticación.

Preguntas frecuentes QA

P：¿Cómo almacena Cloud Function la configuración de la IP del proxy?
R: ¡Nunca ponga variables de entorno! Se recomienda usar la API Instantánea de ipipgo para obtenerlas, responden <200ms y se ponen al día completamente con los arranques en frío de las funciones.

P: ¿Qué debo hacer si encuentro un CAPTCHA?
R: La versión empresarial de ipipgo del paquete con la función de lista negra CAPTCHA, omitirá automáticamente los nodos con CAPTCHA, que el uso de la plataforma de codificación para ahorrar 60% costo.

P: ¿No hay suficientes IP cuando la concurrencia de funciones es alta?
R: Enciéndelo en su consolamodo de expansión por ráfagasAdmite hasta 500 IP nuevas por segundo, lo que es más que suficiente para hacer frente a los picos de tráfico.

Hermanos que se dedican a la función de la nube rastreador, no hay realmente ninguna necesidad de tirar su propia piscina IP. Los proveedores de servicios como ipipgo que se especializan en proxies dinámicos.Puedes conseguir 5.000 solicitudes válidas por 1 dólar.Es más barato que la opción de auto-construcción, por no hablar de los ahorros clave. Recientemente, también tienen un nuevo usuario actividades de prueba gratuita, recibir una cuota de prueba primero ejecutar para arriba y luego decir.