Go Crawler : Acquisition simultanée dans le cadre de Colly

Tout d'abord, pourquoi les robots d'indexation doivent-ils se trouver sur l'adresse IP du proxy ?

Les frères qui pratiquent le crawling savent que le mécanisme anti-escalade du site cible est plus strict que le contrôle d'accès de la communauté. Si vous frôlez continuellement le contrôle d'accès une douzaine de fois, les gardes de sécurité doivent absolument vérifier votre carte d'identité. À l'heure actuelle, l'IP proxy équivaut à un changement quotidien de vêtements pour entrer dans la communauté, de sorte que le système anti-escalade pense que l'utilisateur normal visite le site.

Prenons un exemple concret : une plateforme de commerce électronique pour surveiller le prix des marchandises, si vous n'utilisez pas de proxy, l'IP sera bloquée en moins d'une demi-heure. Si vous utilisez un proxy, l'IP sera bloquée en moins d'une demi-heure.ipipgoAprès la mise en commun des agents, il a fonctionné pendant trois jours consécutifs sans déclencher le contrôle du vent, et le taux de réussite de la collecte est passé de 40% à 95%.

Deuxièmement, comment utiliser l'accélérateur de concurrence du cadre Colly.

Le contrôle de la concurrence fourni avec le framework Colly est comme une voiture manuelle, avec un seul thread fonctionnant par défaut. Nous devons passer la vitesse manuellement :

c := colly.NewCollector(
    colly.Async(true), // active l'interrupteur asynchrone
)
c.Limit(&colly.LimitRule{
    Parallelism : 10, // 10 concurrencies fonctionnant simultanément
    RandomDelay : 2time.Second, // pause aléatoire
})

Notez qu'il y a deux nids-de-poule ici :
1) Si vous ne définissez pas de délai, la concurrence est trop élevée et déclenche directement l'anti-escalade.
2. la tolérance des différents sites web n'est pas la même, nous devons lentement essayer de trouver le nombre optimal de concurrences.

Guide pratique d'accès à l'IP Proxy

Directement aux produits secs, avecipipgoL'exemple de l'API docking :

func getProxy() string {
    resp, _ := http.Get("https://api.ipipgo.com/proxy?format=text")
    defer resp.Body.Close()
    body, _ := ioutil.ReadAll(resp.Body)
    return "http://" + string(body)
}

c.SetProxyFunc(func(r http.Request) (url url.URL, err error) {
    return url.Parse(getProxy())
})

Rappel ciblé :
- Doit changer d'adresse IP avant chaque demande
- Pour faire face aux défaillances des mandataires
- N'oubliez pas de fixer un délai d'attente pour éviter les blocages.

Quatrièmement, la collecte des combats réels pour éviter le manuel de la fosse

J'ai récemment marché sur une mine en aidant un client à mettre en place un système de comparaison des prix :
1) La bibliothèque d'adresses IP d'un agent présente un taux de répétition élevé, 3 changements d'adresses IP sur 10 étant identiques.
2. l'absence de randomisation de l'en-tête de la requête, et la station cible identifie les caractéristiques du crawler.
3. oublier de définir un contrôle du délai d'attente, ce qui entraîne des fuites de mémoire

utiliser (qqch. de différent)ipipgoAprès le pool IP exclusif, le taux de duplication IP est réduit à 0,3%, avec la configuration suivante pour de meilleurs résultats :

V. Foire aux questions AQ

Q : Que dois-je faire si je ne parviens pas souvent à me connecter à l'adresse IP du proxy ?
R : Vérifiez trois choses : 1. contrôle de la survie de l'IP 2. remplacement du protocole de port 3. contact avec l'autorité compétente.ipipgoService clientèle Change Line

Q : Que dois-je faire si je n'arrive pas à me familiariser avec l'acquisition ?
R : Confirmez d'abord si l'IP du proxy a été traînée derrière, en utilisant la fonctionipipgo的测速接口检测响应时间，优质代理应小于800ms

Q : Le serveur sera-t-il toujours impliqué si mon adresse IP est bloquée ?
R : Le plus grand avantage de l'utilisation d'une IP proxy est d'isoler le risque, même si l'IP est bloquée, cela n'affectera pas la machine locale. Cependant, vous devez veiller à ne pas utiliser le serveur pour initier des requêtes directement, et à bien isoler le réseau.

Enfin, un conseil : n'essayez pas d'être bon marché et d'utiliser un agent gratuit, avant qu'un frère n'escalade les données en fuyant la clé API interne de l'entreprise, le résultat a été ciblé, la perte peut être beaucoup plus coûteuse que les honoraires de l'agent. Les choses professionnelles aux services professionnels.ipipgoCes prestataires de services réguliers disposent de journaux d'audit des demandes, ce qui vous permet de remonter jusqu'à eux en cas de problème.