C# Web Crawl : Tutoriels de la bibliothèque HttpClient

Quand le crawler rencontre l'anti-climbing : HttpClient comment utiliser l'IP proxy pour briser les restrictions

L'exploration du web est l'activité qui pose le plus de problèmes : l'IP est bloquée, en particulier avec les frères de la collecte de données C, qui doivent avoir une connaissance approfondie du sujet. Il ne s'agit pas de faux, mais d'apprendre à utiliser HttpClient avec un proxy IP, en se concentrant sur la façon d'utiliser le service ipipgo pour sauver des vies.

Opérations de base du client HttpClient

Tout d'abord, comprenez comment utiliser HttpClient pour envoyer des requêtes, cette chose peut être meilleure que WebClient. N'oubliez pas de fixer un délai d'attente lors de l'initialisation, afin d'éviter que le programme ne se bloque :

var handler = new HttpClientHandler() ; var client = new HttpClient(handler){
var client = new HttpClient(handler){
    Timeout = TimeSpan.FromSeconds(15)
} ;

Pour envoyer une requête GET comme celle-ci, n'oubliez pas d'ajouter User-Agent pour masquer le navigateur :

client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0) ...") ;)

Trois conseils pour sauver votre vie avec les IP par procuration

Lorsque le403 Interditou429 Trop de demandesSi vous avez une IP proxy, il est temps de la changer. La configuration avec le service d'ipipgo est extraordinairement facile :

Techniques anti-blocage dans le monde réel

1. La réserve d'adresses IP doit être suffisamment importantePour les autres, il est recommandé d'utiliser un proxy différent pour chaque requête.
2. Ne soyez pas trop régulier dans vos demandes.: fixer des secondes d'attente aléatoires avec Random.Next(3,8)
3. Absence de commutation automatiqueRemplacer l'agent immédiatement en cas de code d'état anormal.

try{
    var response = await client.GetAsync(url) ;
}
catch{
    // Appeler l'API d'ipipgo pour changer d'IP
    SwapProxy(handler) ;
}

Foire aux questions QA

Q : Que dois-je faire si l'IP proxy ne fonctionne pas après l'avoir utilisé ?
R : Cette situation est due au fait que 80 % des adresses IP sont marquées par le site cible. Le pool d'adresses IP dynamiques d'ipipgo sera automatiquement actualisé, mais n'oubliez pas de définir le mécanisme de relance en cas d'échec dans le code.

Q：HTTPS website crawling signale toujours une erreur de certificat ?
R : Ajoutez cette configuration au HttpClientHandler :
handler.ServerCertificateCustomValidationCallback = (msg, cert, chain, err) => true ;

Q : Comment juger de l'efficacité du proxy IP ?
R : La visite de l'adresse http://ip.ipipgo.com/checkip renvoie l'adresse IP du proxy actuellement utilisé.

Démonstration d'un cas réel

Récemment, un frère a effectué une surveillance des prix du commerce électronique et a utilisé la solution que je lui ai fournie :
1. chaque demande sélectionne de manière aléatoire l'IP de la salle du serveur domestique d'ipipgo
2. dormir pendant 2 minutes toutes les 50 demandes effectuées
3. changer automatiquement de ville en cas de CAPTCHA
En conséquence, il a fonctionné pendant 7 jours consécutifs sans être bloqué, et le taux de réussite de la collecte est passé de 37% à 92%.

Enfin, je voudrais rappeler qu'il faut rechercher la qualité dans le choix d'un service proxy. Support comme ipipgopaiement au volumeetTaux de survie IP de 95% ou plusPour le fournisseur de services, il est en effet plus inquiétant d'utiliser que de construire son propre proxy pool. N'attendez pas que l'IP soit bloquée dans une passoire pour penser à ajouter un proxy, et alors les données auront été ramassées depuis longtemps.