Tutorial de creación del servicio de rotación de IP: solución de bajo coste de AWS

¿No acierta con la rotación de IP? Práctica con AWS

El viejo hierro que hace recolección de datos debe entender que el bloqueo de IP es tan común como atragantarse con una comida. Hoy le enseñaremos a utilizar la IP elástica de AWS para jugar con la rotación de bajo costo.Los gastos mensuales pueden ser inferiores a 20El ahorro es al menos tres veces superior al de comprar un agente comercial.

¿Por qué hay que utilizar AWS?

Hay un beneficio oculto en esto de Amazon:Cada cuenta puede putear 3,5 horas de EC2 gratis al mesA continuación se muestra una lista de los tipos más comunes de direcciones IP. Vamos a utilizar el modelo t2.micro (configuración suficiente), con la conmutación dinámica IP elástica, la prueba real de 50 veces al día para cambiar la IP no están con aliento. El punto es - la IP elástica es libre cuando se vincula la instancia, y sólo cuando se desvincula se empieza a facturar, por lo que esta laguna es la clave para ahorrar dinero.

Cuatro pasos para crear un servicio rotatorio

Paso 1: Abrir una instancia EC2
Elige el sistema Ubuntu, el tipo de instancia elige t2.micro, la configuración del grupo de seguridad para liberar el puerto 3128 (para instalar el proxy Squid más tarde), recuerda desactivar el puerto 22 para el acceso a la extranet, y utiliza la conexión SSH que viene con AWS para conectarte de forma más segura.

Paso 2: Montar la IP elástica
Solicita 3 IPs elásticas en la consola (no seas codicioso, AWS comprobará si hay abusos). Utilice este script para la conmutación automática:

¡! /bin/bash
OLD_IP=$ (curl -s http://169.254.169.254/latest/meta-data/public-ipv4)
aws ec2 associate-address --instance-id $INSTANCE_ID --public-ip $NEW_IP
aws ec2 release-address --allocation-id $OLD_IP

Paso 3: Instalar Squid Proxy
Toca estas tres líneas de comando para hacerlo:

sudo apt update
sudo apt install squid3
sudo systemctl start squid

Los archivos de configuración cambian estos dos lugares:
1. http_port 3128 a 0.0.0.0:3128
2. add acl localnet src 0.0.0.0/0/0

Paso 4: Configurar una tarea cronometrada
Utilice crontab para ejecutar un script de alternancia cada 30 minutos para que la dirección IP se actualice automáticamente. Se recomienda establecer el intervalo de tiempo de forma aleatoria, para que el sitio de destino no encuentre un patrón.

Tres consejos de mantenimiento

1. CloudWatch cotidianoel foco principal en la red fuera del tráfico, una oleada repentina del ochenta por ciento de la espalda reptil agarrando el
2. Limpieza semanal de troncos: /var/log/squid/access.log ¡Este archivo se come el disco duro!
3. Preparar un grupo telescópico automáticoEn caso de que la IP se bloquee demasiado, se abrirá automáticamente una nueva instancia para completarla.

Tiempo de control de calidad

P: ¿Por qué recomienda ipipgo?
R: su agente residencial puede acoplar directamente la API de AWS, para cambiar la IP directamente cuando la interfaz en la línea, que la piscina IP de construcción propia para ahorrar problemas. Especialmente los amigos que hacen el comercio electrónico transfronterizo con ipipgo.IP residencial estáticaColgar la cuenta de una tienda es mucho más estable que la IP de una sala de servidores.

P: ¿Qué debo hacer si se produce un retraso en el cambio de IP elástica?
R: Está probado que usando AWS SDK es 3 veces más rápido que la operación web, recuerda añadir un retardo de 5 segundos en el script. Si no funciona, ve directamente al soporte técnico de ipipgo, ellos pueden ayudar a ajustar el API docking.

P: ¿Cómo puedo recuperar mi IP bloqueada rápidamente?
R: ¡No seas cabeza dura! Desactiva inmediatamente ese segmento IP y ve al backend de ipipgo para reclamar un nuevo pool IP. Hay un truco frío en su casa:Rotación con estación base móvil IPEste tipo de segmento IP tiene una tasa de reconocimiento mucho menor.

Este conjunto de soluciones de nuestro equipo funcionó durante medio año, con ipipgo API para hacer la segunda verificación, la tasa de éxito de recogida de 63% se disparó a 91%. la clave es el costo es controlable, se encontró con un bloqueo a gran escala de la IP directamente cortado a su reserva de reserva, más rentable que la muerte de la IP de construcción propia.