Golang HTML Parser : analyser du HTML en Go

Que se passe-t-il lorsqu'un crawler rencontre un mécanisme anti-blocage ?

La collecte de données du vieux fer sait que le mécanisme anti-escalade du site cible est comme un moustique d'été - indéfendable. Hier, vous pouviez visiter la page normalement, aujourd'hui vous recevez soudainement un code de vérification en pop-up, ou vous bloquez directement l'IP, cette fois vous devez donner le programme.Mettez un gilet.Et les adresses IP proxy sont le meilleur moyen d'invisibilité.

Par exemple, si vous utilisez Golang pour écrire un crawler, si vous utilisez toujours la même IP pour faire des requêtes farfelues, le serveur vous débranchera dans la minute. C'est comme aller manger à la cantine, si vous coupez la file une douzaine de fois de suite, la tante voudra sûrement prendre la cuillère à riz pour vous frapper à la tête.

// Exemple d'une requête de base (écrite à la mort)
resp, err := http.Get("https://target-site.com/data")
// L'IP est alors mise sur liste noire le lendemain.

La bonne façon d'analyser le HTML en Go !

La gestion de l'analyse HTML est recommandée avec la bibliothèque goquery, qui est beaucoup plus fluide que l'analyseur officiel fourni avec le logiciel. Tout comme manger des nouilles avec des baguettes, c'est toujours plus facile que de les saisir avec les mains. L'installation est très simple :

aller chercher github.com/PuerkitoBio/goquery

En pratique, avec le proxy IP l'utilisation est meilleure, ici pour démontrer comment intégrer le service proxy ipipgo dans le code :

func fetchWithProxy(url string) (goquery.Document, error) {
    // Récupère l'adresse du proxy auprès d'ipipgo.
    proxyUrl, _ := url.Parse("http://user:pass@proxy.ipipgo.com:9023")

    client := &http.Client{
        Transport : &http.Transport{Proxy : http.ProxyURL(proxyUrl)},
        Timeout : 15 time.
    }

    resp, err := client.Get(url)
    if err ! = nil {
        return nil, err
    }
    defer resp.Body.Close()

    return goquery.NewDocumentFromReader(resp.Body)
}

Manuel de compétences pratiques sur l'anti-blocage

Voici une liste de quelques conseils pour sauver la vie des hommes :

Lignes directrices sur le déminage des problèmes courants

Q : Combien de fois dois-je utiliser l'IP proxy avant qu'elle n'expire ?
R : Dans ce cas, il est recommandé d'utiliser le proxy résidentiel dynamique d'ipipgo, dont le pool d'adresses IP est mis à jour tous les jours avec plus de 200 000 adresses IP fraîches, plus fraîches que les légumes du marché.

Q : Échec de la résolution du site web HTTPS ?
A : Ajouter la configuration TLS dans Transport, comme ceci :

Transport : &http.Transport{
    Proxy : http.ProxyURL(proxyUrl),
    TLSClientConfig : &tls.Config{InsecureSkipVerify : true},
}

Q : Comment puis-je savoir si une procuration est en vigueur ?
R : Ajoutez une étape de détection de l'IP dans le code, par exemple, visitez http://ip.ipipgo.com/checkip, l'IP renvoyée est l'adresse du proxy, ce qui signifie que l'opération est réussie.

Que le programme apprenne soixante-douze changements

Une dernière suggestion avancée : intégrer l'API d'ipipgo dans le mécanisme de relance en cas d'erreur. Lorsque le programme détecte un échec de requête, il appelle automatiquement son interface pour obtenir une nouvelle IP, comme un caméléon qui peut changer d'identité à tout moment. De cette manière, même si le site cible a des yeux de feu, il ne peut pas non plus reconnaître le vrai corps de votre crawler.

Voici un pseudo-code logique pour un crawler auto-cicatrisant :

for retry := 0 ; retry < 3 ; retry++ {
    doc, err := fetchWithProxy(url)
    if err == nil {
        if err == nil { break
    }
    // Modification automatique du nœud proxy d'ipipgo
    updateProxy()
    time.Sleep(2 time.Second)
time.Sleep(2) }

N'oubliez pas qu'un bon crawler apprend à mener une guérilla, et que le pool d'adresses IP d'ipipgo, qui compte des millions d'adresses, est votre arsenal. N'utilisez plus de proxies gratuits, ces IP ont été jouées depuis longtemps, comme un cheval dans des toilettes publiques, tout le monde les a utilisées, elles ne peuvent pas cacher vos traces.