http secondary proxy : configuration du chaînage du proxy HTTP secondaire

Qu'est-ce que cette chose peut bien faire ?

Les amis engagés dans les crawlers de réseau devraient avoir rencontré l'IP bloquée les mauvaises choses, cette fois le proxy secondaire est comme une roue de secours clé de voiture. Supposons que vous utilisiez le premier proxy pour accéder au site, qu'il soit jugé anormal, le second proxy prend immédiatement le dessus. Pour parler franchementdouble assuranceIl est beaucoup plus stable qu'un agent à un seul niveau.

Vous apprendre à mettre une chaîne

Prenons l'exemple d'un crawler python et utilisons le service proxy d'ipipgo comme démonstration. Tout d'abord, créez un compte sur le site officiel pour obtenir le lien d'extraction de l'API, par exemple :

demandes d'importation

 Proxy de la couche 1
proxy1 = "http://用户名:密码@gateway.ipipgo.com:端口"
 Proxy de la couche 2
proxy2 = "http://用户名:密码@gateway.ipipgo.com:端口"

proxies = {
    "http" : f "{proxy2} via {proxy1}",
    "https" : f"{proxy2} via {proxy1}"
}

response = requests.get("destination URL", proxies=proxies)

Notez que vous devez remplacer l'adresse proxy après via par celle que vous avez effectivement demandée. L'API d'ipipgo permet d'extraire plusieurs nœuds en même temps, ce qui est particulièrement adapté à ce type de configuration en chaîne.

Pièges de la configuration

L'année dernière, alors que je surveillais les prix pour un client du secteur du commerce électronique, j'ai été confronté à trois problèmes typiques :

Guide de l'ancien conducteur pour le choix d'un forfait

Les choix de forfaits d'ipipgo ne manquent pas d'intérêt :

• Dynamique résidentielle (standard): Bon pour les débutants en matière de collecte de données, 1G à 7$+ dure longtemps !
• Dynamic Residential (Entreprise)Les services d'assistance à la clientèle : Avec la fonction de routage personnalisé, essentielle pour les activités transfrontalières.
• Maisons statiquesL'IP fixe convient aux scénarios qui nécessitent une connexion, bien qu'elle soit plus chère, mais stable.

AQ pratique

Q : Quel est le coût d'un agent de deuxième niveau par rapport à un agent de premier niveau ?
R : En fait, le coût est à peu près le même, car le trafic n'est compté que comme une partie de l'utilisation réelle, la chaîne n'étant que le chemin d'acheminement.

Q : L'application mobile fonctionne-t-elle avec cette configuration ?
R : Le client d'ipipgo prend en charge les proxys enchaînés, il suffit d'indiquer deux adresses de proxy dans les paramètres avancés.

Q : Comment casser le CAPTCHA lorsque je le rencontre ?
R : Il est recommandé d'ajouter un nœud dédié au TK dans la chaîne d'agents, et le taux de CAPTCHA peut être réduit à 60%.

Pourquoi recommandez-vous ipipgo ?

Sa famille compte trois tueurs :
1. des pools locaux de ressources IP dans plus de 200 pays dans le monde, de nombreux choix pour l'attribution des chaînes
2. prendre en charge l'extraction simultanée de différents protocoles de procuration, sans contrainte de construction d'une chaîne mixte
3. il existe une chaîne spéciale de documents de configuration, les problèmes rencontrés peuvent être résolus à tout moment par le service technique à la clientèle.

Récemment, pour aider les clients à comparer les prix à l'étranger, la version dynamique de l'entreprise a construit une chaîne de proxy à trois niveaux, qui a fonctionné pendant un demi-mois sans être bloquée. Si vous voulez mon avis, vous pouvez vraiment perdre beaucoup de cheveux en choisissant le bon fournisseur de services.