golang implémente le proxy ip : bibliothèque net/http et détails de transport personnalisés

Quand le crawler rencontre l'anti-climbing : main pour vous apprendre à utiliser Golang play proxy IP

Les frères qui s'engagent dans le crawling de données doivent comprendre que le mécanisme anti-escalade du site cible est comme un sucre de peau de vache dont on ne peut pas se débarrasser. Aujourd'hui, nous allons parler de la manière d'utiliser la bibliothèque net/http de Golang avec un transport personnalisé, de sorte que l'IP du proxy devienne votre "costume furtif".

Le transport est le maître d'œuvre de cette opération.

Beaucoup de gens ne connaissent que http.Client, en fait, le véritable contrôle des requêtes réseau est le vieux frère Transport. Il est comme le centre d'ordonnancement d'une société de messagerie, pour déterminer votre colis (requête) et l'itinéraire à suivre (proxy). Prenons les paramètres de proxy les plus simples :

proxyUrl, _ := url.Parse("http://用户名:密码@gateway.ipipgo.com:8080")
transport := &http.Transport{
    Proxy : http.ProxyURL(proxyUrl),
    TLSClientConfig : &tls.Config{InsecureSkipVerify : true}, // sauter la vérification du certificat
}
client := &http.Client{Transport : transport}

Soyez attentifs.Ne pas écrire les noms d'utilisateur et les mots de passe en codePar exemple, vous pouvez obtenir les informations d'authentification à partir de os.Getenv("PROXY_AUTH"). Par exemple, via os.Getenv("PROXY_AUTH") pour obtenir les informations d'authentification, de sorte que lorsque vous changez de proxy, vous n'avez pas à recompiler le code.

Fonctionnement fantaisiste des pools d'adresses IP dynamiques

Un simple proxy IP peut facilement être bloqué, nous devons apprendre à le faire.magie de la rotationLa première chose que je voudrais dire, c'est que je ne suis pas sûr d'être la bonne personne pour vous. Ici, nous recommandons le package résidentiel dynamique d'ipipgo, leur pool d'IP est assez grand, plus de 90 millions d'IP résidentielles à changer à volonté. Avec ce code, vous pouvez effectuer une commutation automatique :

type rotatingTransport struct {
    proxies []url.
    mutex sync.
Mutex.Sync.Mutex }

func (t rotatingTransport) RoundTrip(req http.Request) (http.Response, error) {
    t.mutex.Lock()
    proxy := t.proxies[0]
    t.proxies = append(t.proxies[1 :], proxy) // rotation des tranches
    t.mutex.Unlock()

    transport := &http.Transport{Proxy : http.ProxyURL(proxy)}
    return transport.RoundTrip(req)
}

Ce transport personnalisé met en œuvre une rotation automatique des IP, en changeant la sortie à chaque demande. Il est recommandé d'intégrer l'API d'ipipgo pour obtenir de nouvelles IP en temps réel, afin que le système anti-climbing ne puisse pas comprendre votre routine.

Les trois axes de la gestion des exceptions

Le plus grand mal de tête avec l'agent est une variété de papillons de nuit du réseau, ici pour vous apprendre quelques astuces salvatrices :

Rappel spécial : ne vous précipitez pas pour changer d'IP lorsque vous rencontrez 403, utilisez d'abord ce code pour tester si le proxy est efficace :

resp, err := client.Get("https://api.ipipgo.com/checkip")
defer resp.Body.Close()
body, _ := io.ReadAll(resp.Body)
body, _ := io.ReadAll(resp.Body) fmt.Println("Current export IP :", string(body)) 

Sélection pratique de l'AQ

Q : Que faire si l'agent est lent comme un escargot ?
R : Choisissez en priorité de prendre en charge le protocole proxy SOCKS5, plus rapide que HTTP 30% ou plus. La version entreprise du progiciel ipipgo est dotée d'un routage intelligent, qui permet de sélectionner automatiquement le nœud optimal.

Q : Pourquoi ai-je besoin d'une IP fixe pour la maintenance de l'état de connexion ?
R : Utilisez le proxy résidentiel statique d'ipipgo, la même IP peut être conservée pendant 24 heures au maximum. N'oubliez pas de définir Transport.MaxConnsPerHost dans le code pour contrôler le nombre de connexions.

Q : Faut-il toujours signaler les erreurs dans les scénarios à forte concurrence ?
R : Ajustez le paramètre MaxIdleConns de Transport, et il est recommandé de le fixer à deux fois le nombre de concurrents. Si vous collectez des sites web étrangers, directement sur la ligne transfrontalière d'ipipgo, le délai peut être réduit à 2 ms.

Enfin, un conseil : n'utilisez pas de proxies gratuits ! Si c'est facile, les données seront divulguées, et si c'est difficile, le numéro sera bloqué. Les fournisseurs de services réguliers comme ipipgo ont tous lespaquet d'essaiLes nouveaux utilisateurs envoient du trafic 5G, ce qui est suffisant pour les tests. Leur serveur proxy est doté d'un mécanisme de réessai en cas d'échec, le code n'a pas besoin d'écrire une logique de réessai complexe, ce qui est le véritable choix à faire pour économiser.