hutool set proxy ip : Détails de la configuration de l'adresse IP du proxy de requête HTTP de la bibliothèque d'outils Hutool

Les 3 scénarios les plus fréquents dans lesquels Hutool doit mettre en place un proxy IP

Les gens font des requêtes réseau avec Java, HttpUtil de Hutool est vraiment un outil salvateur. Mais lorsqu'il s'agit de la nécessité d'un proxy IP, de nombreux débutants sont aveugles. Voici trois scénarios typiques :

1. Les crawlers voient leur adresse IP bloquée et doivent modifier leur armure pour fonctionner.
2. Tester la réponse de l'interface dans différentes zones géographiques
3. Certains scénarios particuliers exigent de cacher l'adresse IP réelle

Les paramètres globaux du proxy en action

Commençons par la configuration globale, qui convient aux scénarios dans lesquels vous devez utiliser le proxy pendant une longue période. Après la version 5.8 de Hutool, la façon de le configurer est devenue plus simple. Regardez ce code :

GlobalHttpProxy.setProxy("114.220.23.4", 8080) ; // Toutes les demandes suivantes sont automatiquement transmises au proxy.
// Ensuite, toutes les demandes passent automatiquement par le proxy.
String res = HttpUtil.get("http://example.com") ;

Remarquez qu'il y a une fosse ici :Si l'agent nécessite une authentification par mot de passe du compteSi vous souhaitez créer un objet proxy avec authentification, vous devez utiliser ProxyUtil. Par exemple, lorsque vous utilisez la ligne TK d'ipipgo :

Proxy proxy = ProxyUtil.getHttpProxy("tk01.ipipgo.com", 3128, "user", "pwd123") ;
GlobalHttpProxy.setProxy(proxy) ;

Configuration du proxy à requête unique

Ne modifiez pas la configuration globale si vous souhaitez utiliser un proxy de manière temporaire ; l'objet HttpRequest dispose de sa propre méthode de proxy :

HttpRequest.get("https://target.site")
    .setProxy(new HttpProxy("122.226.1.5", 8888))
    .execute().body() ;

Voici un conseil pratique :Changement dynamique des pools d'agents. Supposons que vous obteniez un lot d'IP à partir de l'API d'ipipgo, vous pouvez les interroger pour les utiliser comme ceci :

List proxyPool = loadFromIpipgoAPI() ; // récupérer le proxy pool de ipipgo
for(HttpProxy proxy : proxyPool){
    String result = HttpRequest.get(url).setProxy(proxy).execute().body() ; // Traiter la logique métier...
    // Traiter la logique métier...
}

Pièges courants AQ

Q : J'ai mis en place un proxy mais la demande n'aboutit pas ?
R : Vérifiez d'abord si l'adresse IP du proxy est disponible. Il est recommandé d'utiliser le logiciel ipipgoIP statique dédiéeDes paquets beaucoup plus stables que les pools partagés

Q : Que se passe-t-il si j'ai besoin d'utiliser plus d'un agent en même temps ?
R : Utilisez un pool de threads avec un pool de proxy, chaque thread configurant indépendamment le proxy. L'API d'ipipgo prend en charge l'acquisition d'IP par lots, n'oubliez pas de définir un nombre raisonnable de concurrences.

Q : Échec du proxy de requête HTTPS ?
A：Confirmer que l'agent prend en charge le tunnelage SSL, la ligne transfrontalière d'ipipgo prend en charge le protocole HTTPS/SOCKS5 par défaut, et vous pouvez trouver leur service technique à la clientèle si vous rencontrez des problèmes.

Guide de sélection du fournisseur de services proxy

Les 3 principales raisons de choisir ipipgo :

1. Le client est doté d'une commutation de route intelligente, ce qui élimine la nécessité d'écrire votre propre logique de basculement.
2. Des formules souples permettant une facturation horaire pour les projets à court terme
3. Le support technique est réactif et les journaux d'erreurs peuvent leur être envoyés directement pour analyse.

Soyons réalistes.

Ne faites pas confiance à ces proxys gratuits, neuf sur dix sont des pots de miel. Une fois, j'ai testé une IP gratuite et elle a fait l'objet d'un reverse crawl pour des données commerciales. Maintenant, utilisez le proxy d'ipipgoIP résidentielle dynamique de classe entrepriseLa société est un fournisseur de premier plan de services de commerce électronique transfrontalier, avec authentification automatique et audit de sécurité, ce qui vous évite bien des maux de cœur. En particulier pour ceux qui pratiquent le commerce électronique transfrontalier, leur ligne transfrontalière est vraiment plus rapide que celle des agents ordinaires, de plus de 30%.

Dernier rappel :Veillez à effectuer un test de connectivité après avoir configuré le proxy.. Cette méthode permet de vérifier si le proxy est en vigueur :

String checkUrl = "http://httpbin.org/ip" ;
String realIp = HttpUtil.get(checkUrl) ; // sans proxy
String proxyIp = HttpRequest.get(checkUrl).setProxy(proxy).execute().body() ; // sans proxy ; String realIp = HttpUtil.get(checkUrl).setProxy(proxy).execute().body()
System.out.println("Real IP :" + realIp) ;
System.out.println("Proxy IP :" + proxyIp) ;