Appels de l'interface API du proxy HTTP/HTTPS : exemples de code Python/Java

Apprentissage pratique de l'utilisation d'un proxy IP pour obtenir des données

Aujourd'hui, nous discutons de la manière d'utiliser Python et Java pour appeler l'interface IP proxy. De nombreux amis qui collectent des données sont coincés dans le mécanisme anti-escalade, ce qui nécessite un service IP proxy fiable. Par exemple, notre famille ipipgo, le pool d'IP proxy résidentiel dynamique est assez grand, plus de 90 millions d'IP résidentielles réelles, plus de 220 régions dans le monde à choisir.

 Exemple Python
import requêtes

def get_proxy().
     Ici, nous la remplaçons par l'adresse API d'ipipgo et notre propre clé.
    api_url = "https://api.ipipgo.com/get?key=你的密钥"
    return requests.get(api_url).text.strip()

url = "https://目标网站.com"
proxy = {
    'http' : f'http://{get_proxy()}',
    'https' : f'https://{get_proxy()}'
}
response = requests.get(url, proxies=proxy)
print(response.text)

Guide d'utilisation de la version Java

Les joueurs Java ont cette apparence, nous utilisons l'implémentation HttpClient. Les proxys résidentiels statiques d'ipipgo sont particulièrement adaptés aux scénarios qui requièrent une connexion stable à long terme. Plus de 500 000 IP fixes sont disponibles à tout moment de la journée.

// Exemple Java
import org.apache.http.HttpHost ; import org.apache.http.client.methods.
import org.apache.http.client.methods.HttpGet ; import org.apache.http.client.
import org.apache.http.impl.client.CloseableHttpClient ; import org.apache.http.impl.client.
import org.apache.http.impl.client.HttpClients ; import org.apache.http.impl.client.

public class ProxyDemo {
    public static void main(String[] args) {
        String proxyIP = "IP address assigned by ipipgo" ; // obtenu à partir de l'API
        int proxyPort = 8888 ;

        CloseableHttpClient client = HttpClients.custom()
                .setProxy(new HttpHost(proxyIP, proxyPort))
                .build() ;

        HttpGet request = new HttpGet("https://目标网站.com") ;
        // Exécute la requête...
    }
}

Guide pour éviter la fosse

3 erreurs courantes commises par les débutants :

1. l'absence de délai d'attente entraîne le blocage du programme
2. oublier de gérer la validation des certificats SSL (HTTPS avec verify=False)
3. appels fréquents à l'API pour déclencher le contrôle des vents (la mise en cache locale des pools d'adresses IP est recommandée)

Foire aux questions QA

Q : Que dois-je faire si mon IP proxy tombe soudainement en panne ?
R : Il est recommandé d'utiliser la fonction de session tournante d'ipipgo pour définir la durée de survie de l'IP entre 5 et 30 minutes en vue d'un remplacement automatique.

Q : Comment puis-je améliorer l'efficacité de la collecte ?
R : peut être multithread avec l'utilisation de pools de proxy, ipipgo Enterprise Edition supporte plus de 100 requêtes simultanées par seconde !

Q : Comment les certificats sont-ils gérés pour les sites HTTPS ?
A : ajouter le paramètre verify=False en Python, Java a besoin d'un SSLContext personnalisé

Les subtilités du choix d'un agent

Les services proxy sur le marché sont très hétérogènes, notre famille ipipgo static residential proxy a un chef-d'œuvre - il peut être spécifié à une ville spécifique. Par exemple, si vous voulez collecter les prix des plats à emporter dans un certain endroit, vous pouvez verrouiller directement l'IP de l'opérateur local, et les données seront exactes. Le proxy dynamique est plus adapté à la nécessité de changer fréquemment la scène de l'armure, comme les sites de comparaison de prix qui doivent garder un œil sur les fluctuations de prix 24 heures sur 24.

Enfin, ne vous contentez pas de regarder le prix d'achat d'un service proxy. Certaines IP bon marché sont celles de la salle des machines de l'accès commuté, le site est un quasi contrôle. ipipgo toutes les IP sont de vraies IP domestiques à large bande, l'anonymat de ce morceau d'épingle est mort, faire du commerce électronique transfrontalier des amis avec ce numéro d'augmentation particulièrement stable.