Tutoriel de construction d'un service de rotation d'IP : solution économique AWS

IP轮换搞不定？手把手教你在AWS

Les vieux briscards qui font de la collecte de données devraient comprendre que le blocage de l'IP est aussi courant que de s'étouffer en mangeant. Aujourd'hui, nous allons vous apprendre à utiliser l'IP élastique d'AWS pour jouer avec la rotation à faible coût.Les coûts mensuels peuvent être maintenus en dessous de 20Les économies réalisées sont au moins trois fois supérieures à celles réalisées par l'achat d'un agent standard.

Pourquoi utiliser AWS ?

Il y a un avantage caché à cette histoire d'Amazon :Chaque compte peut bénéficier de 3,5 heures d'EC2 gratuites par mois.Voici une liste des types d'adresses IP les plus courants. Utilisons le modèle t2.micro (configuration suffisante), avec la commutation dynamique de l'IP élastique, le test réel de 50 fois par jour pour changer l'IP n'est pas avec souffle. Le fait est que l'IP élastique est gratuite lorsque vous liez l'instance, et ce n'est que lorsque vous la délier que vous commencez à facturer, cette faille est donc la clé pour économiser de l'argent.

Quatre étapes pour créer un service rotatif

Étape 1 : Ouvrir une instance EC2
Choisissez le système Ubuntu, le type d'instance t2.micro, les paramètres du groupe de sécurité pour libérer le port 3128 (pour installer le proxy Squid plus tard), n'oubliez pas de désactiver le port 22 pour l'accès extranet, et utilisez la connexion SSH fournie avec AWS pour vous connecter de manière plus sécurisée.

Étape 2 : Monter l'IP élastique
Demandez 3 IP élastiques dans la console (ne soyez pas trop gourmand, AWS vérifiera les abus). Utilisez ce script pour une commutation automatique :

! /bin/bash
OLD_IP=$ (curl -s http://169.254.169.254/latest/meta-data/public-ipv4)
aws ec2 associate-address --instance-id $INSTANCE_ID --public-ip $NEW_IP
aws ec2 release-address --allocation-id $OLD_IP

Étape 3 : Installer Squid Proxy
Utilisez ces trois lignes de commande pour y parvenir :

sudo apt update
sudo apt install squid3
sudo systemctl start squid

Les fichiers de configuration modifient ces deux endroits :
1. http_port 3128 vers 0.0.0.0:3128
2. ajouter un acl localnet src 0.0.0.0/0/0

Étape 4 : Mise en place d'une tâche chronométrée
Utilisez crontab pour exécuter un script de basculement toutes les 30 minutes afin que l'adresse IP soit automatiquement rafraîchie. Il est recommandé de définir l'intervalle de temps de manière aléatoire, afin que le site cible ne trouve pas de modèle.

Trois conseils d'entretien

1. CloudWatch au quotidienLe réseau se concentre principalement sur le trafic, une soudaine poussée de quatre-vingts pour cent du dos du reptile s'agrippant à la tête de l'animal.
2. Nettoyage hebdomadaire des troncs d'arbres: /var/log/squid/access.log Ce fichier mange le disque dur !
3. Préparer un groupe télescopique automatiqueSi l'IP est bloquée trop fortement, une nouvelle instance est automatiquement ouverte pour la compléter !

Temps consacré à l'assurance qualité

Q : Pourquoi recommandez-vous ipipgo ?
R : leur agent résidentiel peut directement accéder à l'API AWS, pour changer l'IP directement lorsque l'interface est en ligne, plutôt que de créer son propre pool d'IP pour éviter les problèmes. En particulier les amis qui font du commerce électronique transfrontalier avec ipipgo.IP résidentielle statiqueL'attribution d'un compte à un magasin est beaucoup plus stable que l'attribution d'une IP à une salle de serveur.

Q：弹性IP切换有咋办？
R : Il a été testé que l'utilisation du SDK AWS est 3 fois plus rapide que l'opération web, n'oubliez pas d'ajouter un délai de 5 secondes dans le script. Si cela ne fonctionne pas, adressez-vous directement au support technique d'ipipgo, qui pourra vous aider à ajuster l'API docking.

Q : Comment puis-je récupérer rapidement mon adresse IP bloquée ?
R : Ne soyez pas borné ! Désactivez immédiatement ce segment IP et allez sur le backend ipipgo pour réclamer un nouveau pool IP. Il y a un truc froid chez eux :Rotation avec la station de base mobile IPCe type de segment IP a un taux de reconnaissance beaucoup plus faible.

Cet ensemble de solutions a été mis en œuvre par notre équipe pendant six mois, avec l'API d'ipipgo pour effectuer la deuxième vérification, le taux de réussite de la collecte est passé de 63% à 91%. La clé est que le coût est contrôlable, le blocage à grande échelle de l'IP a été directement coupé à leur pool de secours, ce qui est plus rentable que la mort de l'IP construite par l'utilisateur.