Solution peu coûteuse : un VPS construit un pool d'IP proxy pour le crawler (pratique Python)

Tout d'abord, pourquoi devrais-je créer mon propre pool d'adresses IP pour proxy ?

Engagé dans une démarche rampante, les vieux conducteurs comprennent que le proxy IP gratuit est comme un casse-croûte de bord de route - il est parfumé mais facile à diarrhée. Soit la vitesse est bloquée dans PPT, soit lorsque vous l'utilisez, il devient soudainementraccrocher (un téléphone)La meilleure façon d'y parvenir est de constituer votre propre pool d'agents, ce qui revient à gérer une cuisine à domicile. Construire son propre pool d'agents, c'est comme gérer une petite cuisine à la maison, avec des coûts contrôlés et des ingrédients frais.

J'ai récemment aidé un ami à utiliserAliCloud 2-core 2G burst energy instance(Les frais annuels sont inférieurs à 300 yuans) a construit un fonctionnement stable du pool de proxy, le test actuel peut gérer plus de 50 000 requêtes par jour. L'essentiel est que vous n'ayez pas à chercher des adresses IP gratuites tous les jours, et le temps que vous gagnez pour jouer à quelques jeux ne sent pas bon ?

Deuxièmement, le SPV achète un guide anti-fosse

Ne vous contentez pas de regarder le prix lorsque vous choisissez un VPS, voici les paramètres auxquels vous devez prêter attention :

Testé et trouvéLos AngelesLa machine est la plus rentable, il est recommandé de choisir l'architecture KVM, ne pas toucher à ces affaires sérieuses sur-vendues. Ici secrètement dire un truc : beaucoup de marchands VPS premier mois de prix spéciaux, vous pouvez laine recueillir sur le changement de numéro (ne dites pas que je l'enseigne).

III. services d'agents d'installation pratiques

recommandéCalmarS'agissant d'un serveur proxy, la configuration est aussi simple que des blocs de construction :

 Installer squid (Ubuntu à titre d'exemple)
sudo apt-get install squid -y

 Modifier le fichier de configuration
sudo nano /etc/squid/squid.conf
 Ajoutez ces deux lignes
http_access allow all
http_port 3128

 Redémarrez le service
sudo systemctl restart squid

À ce stade, votre SDV est déjà un serveur proxy nu. Mais il est directement exposé au réseau public, et vous serez plongé dans un isolement auto-imposé en quelques minutes. Vous devez ajouter unAuthentification par liste blanche d'adresses IP: :

 Création d'un fichier de mots de passe
sudo touch /etc/squid/passwd
sudo chown proxy /etc/squid/passwd

 Ajouter un utilisateur (remplacer votre_mot_de_passe par le vôtre)
sudo htpasswd /etc/squid/passwd ipipgo_user

 Modifier la configuration de squid pour ajouter :
auth_param basic programme /usr/lib/squid/basic_ncsa_auth /etc/squid/passwd
acl auth_users proxy_auth REQUIRED
http_access allow auth_users

Quatrièmement, l'accès du crawler Python au combat réel

Pour mettre en œuvre l'interrogation de proxy avec la bibliothèque de requêtes, voici un fichierConseils contre l'interdictionLe système de gestion de l'accès à l'Internet : sélectionne de manière aléatoire une adresse IP de sortie différente pour chaque demande.

Importation de l'aléatoire
importer des demandes

 Remplacez ceci par vos propres informations VPS
proxies = [
    "http://user1:pass1@vps1_ip:3128", "http://user1:pass1@vps2_ip:3128", "http://user1:pass1@vps2_ip:3128",
    "http://user2:pass2@vps2_ip:3128", ...
    ... Ajouter d'autres proxies
]

def smart_request(url).
    try.
        proxy = random.choice(proxies)
        response = requests.get(url,
            proxies={"http" : proxy, "https" : proxy}, timeout=10)
            timeout=10)
        return response.text
    except Exception as e.
        print(f"{proxy} accroché, passez au suivant !")
        return smart_request(url) auto-retry

Si la maintenance de votre propre système de paiement virtuel vous pose trop de problèmes, vous pouvez vous tourner vers le système de paiement par Internet.Services proxy pour ipipgoMoins de tracas. L'accès à leur API est très facile :

 Obtenir un proxy dynamique de ipipgo (ne pas oublier de remplacer API_KEY)
importer des requêtes

def get_ipipgo_proxy() :
    api_url = "https://api.ipipgo.com/get?key=YOUR_API_KEY"
    return requests.get(api_url).text

 Exemple d'utilisation
proxy = get_ipipgo_proxy()
requests.get("target url", proxies={"http" : proxy})

V. Manuel sur le déminage des problèmes courants

Q : Combien coûte la construction d'une piscine pour agents ?
R : Les frais annuels du VPS sont d'environ 300 + supplément ipipgo (9,9/10.000 requêtes), moins cher que l'utilisation d'un proxy dédié de plus de la moitié !

Q : Que dois-je faire si mon agent est lent ?
R : ① vérifier si la bande passante du VPS est pleine ② utiliser le logiciel ipipgo'scanal à grande vitessenœud ③ Réduire le nombre de handshakes SSL

Q : Que dois-je faire si mon adresse IP est toujours bloquée ?
A : trois astuces : ① User-Agent aléatoire par requête ② contrôler la fréquence d'accès ③ utiliser ipipgo'sagent commercial(avec remplacement automatique de l'IP)

VI. le maintien des opérations douteuses du proxy pool

1. chaque jour, tôt le matinredémarrage spontanéservice squid (pour éviter les fuites de mémoire)
2. utiliser crontab pour vérifier la survie des agents à intervalles réguliers :

 Script de détection de survie
! /bin/bash
if curl -x "http://你的代理" --retry 2 -m 10 ipipgo.com/check > /dev/null ; then
    echo "Proxy en vie"
else
    echo "Proxy hung !" | mail -s "alert" votre boîte aux lettres
mail -s "Alarme" votre boîte aux lettres

3) Lorsque des sites cibles prioritaires sont rencontrés, il est recommandé de les appeler directement.Propriété intellectuelle exclusive pour ipipgoLa stabilité prend son essor lorsqu'une IP est dédiée à un service.

Enfin, une grande vérité : entretenir son propre pool d'agents, c'est comme avoir un animal de compagnie, il faut du temps pour s'en occuper. Si vous faites beaucoup d'affaires, il est toujours recommandé d'utiliser desLes agents commerciaux d'ipipgoIls disposent d'une équipe professionnelle pour maintenir le pool d'IP, mais aussi d'une commutation intelligente et de statistiques sur les demandes, ce qui leur permet d'éviter bien des maux de cœur. Il est conseillé aux débutants d'utiliser leurEssai gratuitFaites l'expérience de la douceur des services d'une agence professionnelle.