Code d'intégration Proxy IP : Exemple de code d'intégration Proxy IP

Que fait le code d'intégration de l'adresse IP du proxy ?

Par exemple, vous avez écrit un crawler pour collecter des données, mais le site web cible a bloqué directement votre IP locale, alors vous avez besoin d'une IP proxy pourrevenir à ses anciennes habitudesL'IP résidentielle dynamique fournie par ipipgo revient à jouer à cache-cache en changeant constamment de cachette. ipipgo fournit des IP résidentielles dynamiques qui peuvent être remplacées par des IP d'utilisateurs réels dans différentes régions pour chaque demande, de sorte que le site web ne peut pas savoir si c'est une personne réelle qui visite le site ou si c'est un programme qui l'exploite.

Accès IP proxy en trois étapes

Étape 1 : Obtenir le lien API exclusif
Après s'être enregistré sur le site web d'ipipgo, la console génère un lien d'extraction similaire à celui-ci :

https://api.ipipgo.com/get?key=你的密钥&count=10&protocol=http

Cette interface renvoie 10 proxies disponibles et supporte les protocoles http/https/socks5. Il est recommandé d'utiliser une IP résidentielle statique pour le premier test afin d'assurer une meilleure stabilité.

Étape 2 : Ajouter le pool de proxy dans le code
Exemple de code Python (bibliothèque de requêtes) :

demandes d'importation

proxies = {
  'http' : 'http://user:pass@12.34.56.78:8888',
  'https' : 'http://user:pass@12.34.56.78:8888'
}

resp = requests.get('destination URL', proxies=proxies, timeout=10)
print(resp.text)

Notez la substitutionutilisateurrépondre en chantantpasserMot de passe du compte pour ipipgo, avec des informations d'authentification individuelles pour chaque IP proxy.

Étape 3 : La gestion des exceptions ne peut être omise
Il est recommandé d'ajouter un mécanisme de relance à chaque demande, tel qu'une commutation automatique en cas d'échec d'un certain proxy :

from retrying import retry

@retry(stop_max_attempt_number=3)
def safe_request(url).
    @retry(stop_max_attempt_number=3). try.
        return requests.get(url, proxies=random_proxy())
    except Exception as e.
        print(f "Proxy échoué, remplacé automatiquement : {e}")
        raise

Les pièges les plus courants pour les débutants en assurance qualité

Q : Combien de fois dois-je utiliser l'IP proxy avant qu'elle n'expire ?
R : Si vous utilisez un paquet dynamique, chaque IP est valable pendant 5 à 30 minutes. Il est recommandé d'obtenir une nouvelle IP à partir de l'API pour chaque demande, ou d'utiliser la fonctionIP statique de longue duréeLes colis.

Q : Le code signale une erreur d'authentification 407 ?
R : Dans 90 % des cas, le mot de passe du compte est erroné. Les informations d'authentification de l'ipipgo se trouvent dans "mon paquet" - "informations de connexion", notez que le mot de passe contient des lettres + des chiffres + des symboles spéciaux qui doivent être ajoutés entre guillemets.

Q : Lent comme un escargot ?
R : Essayez les deux méthodes suivantes : 1) passez à l'offre dédiée de TK, passez à la bande passante indépendante 2) définissez le délai d'attente dans le code, plus de 3 secondes basculent automatiquement le proxy.

Pourquoi recommandez-vous ipipgo ?

Après avoir testé plus d'une douzaine de fournisseurs, voici trois raisons de fermer définitivement ipipgo :

1. Véritable IP résidentielleContrairement à certains marchands qui utilisent des adresses IP de salles de serveurs pour usurper leur identité, leur base de données IP peut être vérifiée par whois et correspond à AT&T, Comcast et d'autres opérateurs réels.

2. équipement d'urgenceLa dernière fois que notre crawler a été contre-crawlé, le service clientèle a directement donné à l'ensemble deProgramme de rotation de la propriété intellectuelleLes frais sont calculés en fonction de l'utilisation réelle de l'adresse IP et du nombre d'adresses IP.

3. Transparence des prixContrairement à certaines plateformes qui cachent les facteurs de perte de trafic, 1 Go de trafic est réellement utilisé ici !

Tableau de référence des prix des forfaits :

Mention spéciale pour leurLigne TKLe délai est inférieur à celui des agents ordinaires 60%, mais vous devez contacter le service clientèle pour l'ouvrir séparément.

Guide pour éviter la fosse

J'ai vu trop de gens renverser leur voiture dans ces endroits :

1. Pas d'agent local.L'ordinateur est équipé du logiciel et les paramètres proxy du code sont désactivés.

2. Oublié de modifier User-AgentIl suffit de changer l'IP, mais pas les empreintes digitales du navigateur, et le système sera cassé en quelques minutes.

3. Dépassement de délaiMême si vous utilisez un proxy de qualité, 1000 threads en même temps seront toujours bloqués.

Une dernière opération de tarte : en combinant le proxy d'ipipgo avec selenium et en utilisant le plugin de prise d'empreinte du navigateur, on peut faire ce qui suitSimulation complète d'opérations réelles. Le code spécifique impliqué dans les projets commerciaux ne sera pas mis, les personnes intéressées par leur technologie peuvent les contacter pour parler de solutions personnalisées.