L'exploration du Web avec Go : L'exploration du langage Go

Tout d'abord, pourquoi faut-il utiliser Go pour obtenir des robots d'indexation ?

Neuf personnes sur dix qui travaillent avec des crawlers utilisent aujourd'hui Python, mais les anciens savent que Go est né pour cela. Regardez-moi ça.concomitanteLa bibliothèque Go net/http est un excellent moyen de tirer le meilleur parti de votre langage, avec des centaines de threads et moins de mémoire. Les bibliothèques net/http de Go sont un excellent moyen de se débarrasser des autres langages, en particulier lorsque vous devez effectuer un grand nombre de requêtes.

Il faut cependant être conscient d'un écueil : de nombreux sites sont désormaisLe blocage de l'adresse IP en ligne de mireLa première chose à faire est d'obtenir un 403 forbidden. Vous avez écrit du code pendant une demi-journée, et vous obtenez un 403 forbidden juste après dix minutes d'exécution, ce qui est quelque chose qui va exploser dans l'esprit de n'importe qui. C'est le moment de faire appel à notre arme secrète - le service de proxy IP ipipgo.

// Par exemple, la mise en place d'un proxy avec Go est aussi simple que ceci
client := &http.Client{
    Transport : &http.Transport{
        Proxy : http.ProxyURL(&url.URL{
            Scheme : "http",
            Host : "your-account:password@proxy.ipipgo.io:9021",
        }),
    },
    Timeout : 30 time.
Second, }

Deuxièmement, comment le proxy IP est-il devenu une bouée de sauvetage ?

Récemment, j'ai aidé un ami à obtenir un crawler de comparaison de prix, et le site cible est si strict en matière d'anti-climbing que cela me tue. Au début, j'ai utilisé l'IP locale en dur, le résultat est une demi-heure de blocage. Plus tard, j'ai changé pour le proxy résidentiel dynamique d'ipipgo, bon gars, j'ai fonctionné pendant deux jours consécutifs sans problème.

Le pool de proxies d'ipipgo est suffisamment important, surtout avec leurChangement d'itinéraire intelligentLa fonction permet de sélectionner automatiquement le nœud le plus rapide. Je me souviens de la dernière fois que j'ai collecté des données sur le commerce électronique, en utilisant leur API toutes les 5 minutes pour changer l'IP, les données ont été saisies en douceur.

Troisièmement, la main pour vous apprendre à correspondre à l'agent

Voici une astuce pour les nouveaux venus, n'utilisez pas directement le http.Get par défaut, avec une instance de Client c'est la bonne méthode. Le code suivant vous permet de copier directement les devoirs sur la ligne :

func createProxyClient(proxyURL string) (http.Client, error) {
    proxy, err := url.Parse(proxyURL)
    if err ! = nil {
        return nil, err
    }

    return &http.Client{
        Transport : &http.Transport{
            Proxy : http.ProxyURL(proxy),
            TLSClientConfig : &tls.Config{InsecureSkipVerify : true}, // sauter la vérification du certificat
        }, // Sauter la validation du certificat.
        Timeout : 20 time.
    Second, }, nil
}

N'oubliez pas de remplacer le proxyURL par l'adresse qui vous a été communiquée par ipipgo sous la forme suivantehttp://用户名:密码@GatewayAddress:PortSi vous avez un problème avec le certificat, vous pouvez temporairement l'ignorer comme indiqué ci-dessus. Si vous avez un problème avec le certificat, vous pouvez temporairement ignorer la validation comme ci-dessus, mais il est préférable d'avoir un certificat approprié pour l'environnement officiel.

IV. l'enregistrement des pièges réels

La dernière fois que j'ai utilisé Go pour escalader un site de voyage, le proxy était correctement configuré, mais je ne pouvais pas m'y connecter. Plus tard, j'ai découvert que c'étaitpool de connexionIl n'était pas apparié correctement et le Keep-Alive par défaut prenait la connexion. La solution a consisté à ajouter deux lignes à Transport :

Transport : &http.Transport{
    MaxIdleConns : 100,
    IdleConnTimeout : 90 time.
    TLSHandshakeTimeout : 10 time.
Second, TLSHandshakeTimeout : 10 time.Second, }

Il y a aussi un plus diabolique, avec ipipgo proxy access est toujours timeout. Plus tard, il s'est avéré que le nœud par défaut de leur maison est le protocole HTTP, le site cible est forcé de passer au protocole HTTPS.

V. Foire aux questions AQ

Q : Que dois-je faire si je ne parviens pas à me connecter à l'adresse IP du proxy en permanence ?
R : Vérifiez d'abord que le mot de passe du compte n'est pas correct, en particulier les symboles spéciaux pour utiliser le code URL. Ensuite, essayez de tester directement avec la commande curl, si cela ne fonctionne pas, contactez rapidement le service clientèle d'ipipgo pour changer le nœud.

Q : Que se passe-t-il lorsque l'on rampe et que l'on se retrouve soudainement bloqué ?
R : 80% de la fréquence des demandes est trop élevée, même si le changement d'IP doit contrôler le rythme. Suggestion dans le code d'ajouter un délai aléatoire, avec time.Sleep avec rand.Intn pour obtenir un peu d'aléatoire.

Q : En quoi ipipgo est-il meilleur que les autres ?
A : En dehors de cela, deux choses sont assez difficiles : aLa période d'enquête sur le logement dans la vie réelleDeuxièmement, le développement exclusif du routage intelligent, qui permet d'éviter automatiquement l'interdiction de l'ASN.

Sixièmement, dites quelque chose de sincère

Dans le domaine des crawlers, la technique se résume à l'essentiel.Les ressources sont reines.. J'ai vu trop de gens construire leurs propres serveurs proxy, et les coûts de maintenance qui en résultent sont effroyablement élevés. Autant utiliser un service professionnel comme ipipgo, gagner du temps pour écrire quelques crawlers supplémentaires ne sent pas bon ?

Enfin, je rappelle aux débutants qu'il ne faut pas se contenter d'explorer les données.Protocole des robotsC'est important. Certains sites interdisent explicitement l'escalade, nous ne forçons pas, après tout, il ne faut pas faire le projet pour manger des lettres d'avocats, n'est-ce pas ?