Comment configurer un proxy http ip ? Tutoriel sur la configuration à trois niveaux du navigateur, du système et du code

Paramètres du navigateur : Pratique de l'accrochage de proxy

Commençons par la configuration la plus simple du navigateur, en prenant Chrome comme exemple. Ouvrez le coin supérieur droit des trois points → Paramètres → Avancés → Système → ouvrez les paramètres du proxy, cette fois-ci il va sauter à l'interface des paramètres du système (ne paniquez pas, nous parlerons plus tard de la configuration au niveau du système). Cependant, il est plus recommandé d'installer un plugin SwitchyOmega, cet outil magique permet de gérer directement le proxy.

Dans le plugin, créez un nouveau mode de scénario et sélectionnez le type de serveur proxy. Soyez prudent :L'adresse proxy pour ipipgo dépend du type de protocolePar exemple, un proxy résidentiel dynamique peut ressembler à ceci : gateway.ipipgo.com:3000, remplissez le mot de passe du compte et vous avez terminé. Si vous rencontrez des sites web qui se chargent lentement, n'oubliez pas d'ajouter les sites nationaux à la "liste d'adresses non proxy" afin de pouvoir utiliser Taobao sans passer par un proxy.

// Exemple de configuration (ne copiez pas directement, utilisez votre propre compte)
Serveur proxy : gateway.ipipgo.com
Port : 3000
Méthode d'authentification : nom d'utilisateur/mot de passe
Compte : votre_nom_d'utilisateur
Mot de passe : votre_mot_de_passe

Agents au niveau du système : une approche de configuration unique

Les utilisateurs de Windows appuient sur Win+R et tapent control pour ouvrir le Panneau de configuration → Réseau et Internet → Options Internet → Connexions → Paramètres du réseau local. Voici un piège :Ne cochez pas la case "détection automatique des paramètres".Dans le cas contraire, le système ne tiendra pas compte de la configuration de votre proxy. Remplissez l'adresse du proxy fournie par ipipgo. Il est recommandé de configurer les protocoles http et https.

Les utilisateurs de Mac vont dans Préférences système → Réseau → Avancé → Proxies, où vous pouvez voir les cinq types de proxy. Nous nous concentrons sur deux d'entre eux, SOCKS5 et HTTP :SOCKS5 est recommandé pour les maisons dynamiquesSi vous souhaitez utiliser HTTP, vous pouvez choisir HTTP pour votre résidence statique afin de la rendre plus stable. N'oubliez pas de cliquer sur "OK" pour sauvegarder la configuration, ne cliquez pas sur le bouton d'annulation plus de 10 fois comme l'a fait le vieux roi la dernière fois.

Configuration du code : une pose de programmeur seulement

En utilisant la bibliothèque de requêtes de Python comme exemple, la configuration du proxy se résume à deux lignes de code. Cependant, vous devez faire attention à la maintenance de la session, surtout si vous utilisez une IP résidentielle dynamique, vous devez définir la date d'expiration de la session.

demandes d'importation

proxies = {
    'http' : 'http://user:pass@gateway.ipipgo.com:3000',
    'https' : 'http://user:pass@gateway.ipipgo.com:3000'
}

resp = requests.get('https://example.com', proxies=proxies, timeout=10)

Si vous réalisez un projet de crawler, il est recommandé de se rendre à l'adresse suivanteSERP API pour ipipgoLa première est de s'épargner la peine de maintenir le pool de proxy directement. Leur API prend en charge plus de 100 requêtes par seconde, est dotée d'un mécanisme de réessai en cas d'échec, et est beaucoup plus stable que le proxy nu.

Le guide complet pour mettre les pieds dans le plat : un must pour les débutants en AQ

Q : Je ne peux pas ouvrir la page web après avoir configuré le proxy ?
Le premier ping vers le bas de l'adresse du proxy pour voir s'il passe, et ensuite utiliser curl pour tester la connectivité. ipipgo a des statistiques d'utilisation en temps réel en arrière-plan, de sorte que vous pouvez voir si le compte est en retard.

Q : Comment choisir entre les paquets dynamiques et les paquets statiques ?
Si vous avez besoin de changer fréquemment d'adresse IP, choisissez une adresse dynamique (comme les robots d'indexation), tandis que les entreprises fixes à long terme optent pour une adresse statique (comme les diffusions en direct à l'étranger).

Q : Comment changer de proxy automatiquement dans le code ?
Utilisez leur API pour obtenir la dernière liste de proxies. Il est recommandé de travailler avec un middleware de proxy. Le framework Python scrapy peut être configuré comme suit :

classe IpipgoProxyMiddleware.
    def process_request(self, request, spider).
        request.meta['proxy'] = 'http://gateway.ipipgo.com:3000'
        request.headers['Proxy-Authorisation'] = basic_auth_header('user', 'pass')

Choisir le bon paquet : trois ans de voyage en moins

ipipgo's.Dynamique résidentielle (standard)Convient aux développeurs individuels, 5GB de trafic pour commencer suffisant pour tester un petit projet. Les utilisateurs de niveau entreprise directement sur la résidence dynamique (Enterprise Edition), supportent la gestion des lots API + le pool IP personnalisé. Les anciens utilisateurs de TikTok ont les yeux fermés sur leur solution TikTok, le délai mesuré en direct peut être réduit à 200 ms près.

Enfin, un petit conseil : lorsque vous configurez le proxy pour que la résolution DNS prenne également le canal du proxy, vous pouvez éviter les problèmes de pollution DNS. Ajoutez cette ligne dans le code :

requests.get(url, proxies=proxies, headers={'Host' : 'real domain'})

Si vous ne parvenez toujours pas à le faire fonctionner, adressez-vous directement à l'assistance technique d'ipipgo. La dernière fois que j'ai lancé un ordre de travail à trois heures du matin, cinq minutes ont suffi pour résoudre le problème de la chute du pool de proxy.