C# Web Crawler : C# Crawling Tool

Ne laissez pas le blocage d'IP détruire votre travail en tant que crawler !

Récemment, de nombreux frères engagés dans la capture de données se sont plaints, le travail acharné pour écrire le crawler a couru pas deux jours sera bloqué IP. Cette chose que je sais trop, l'année dernière pour faire le contrôle des prix du commerce électronique, pendant trois jours consécutifs par le site cible pour tirer le noir, si en colère que j'ai presque cassé le clavier. Plus tard, j'ai découvert que l'utilisation de l'IP proxy estmesure désespérée pour sauver sa vieAujourd'hui, nous profitons de l'expérience du développement en C pour vous donner quelques conseils.

Ensemble deux pièces C Crawler Essentials

La première chose à faire est de choisir une arme que vous pouvez utiliser, et nous vous recommandons les deux vieux :

// Utilisez ceci pour gérer les requêtes HTTP
Http ; using System.Net.
Http ; // Analyse HTML.
using HtmlAgilityPack.

Ces deux-là avec le travail d'une efficacité absolue, notamment HtmlAgilityPack XPath parsing, que les expressions régulières permettent d'économiser dix fois. Cependant, il ne suffit pas d'avoir les outils, il faut apprendre à les utiliser.tactiques de camouflage.

Trois scénarios de sauvetage pour l'IP Proxy

La semaine dernière, pour aider des amis à capturer un site de travail, avec l'agent résidentiel dynamique d'ipipgo, le changement automatique d'IP toutes les heures, il est difficile de capturer l'efficacité de 3 fois toujours pas bloquée.

Pratique : HttpClient pour porter une cape d'invisibilité

Directement au code sec pour voir comment charger le proxy d'ipipgo dans le crawler :

var handler = new HttpClientHandler
var handler = new HttpClientHandler {
    Proxy = new WebProxy("gateway.ipipgo.com:8000"),
    UseProxy = true
} ;

var client = new HttpClient(handler) ;
var client = new HttpClient(handler) ; client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0)") ;

// Il est plus sûr de fixer un délai d'attente
var response = await client.GetAsync("https://目标网站.com",
    new CancellationTokenSource(TimeSpan.FromSeconds(15)).

Veillez à mettreconsole ipipgoLe mot de passe du compte que vous avez appliqué dans WebProxy, il est recommandé d'utiliser leur API pour obtenir l'adresse du proxy dynamiquement, de sorte que le pool d'IP puisse être mis à jour automatiquement.

Cas réel : Système de surveillance des prix du commerce électronique

L'année dernière, un système de comparaison des prix pour une chaîne de supermarchés s'est heurté à trois obstacles :

1. Chaque crawl est reconnu comme un crawler
2. Changer manuellement de serveur lorsque l'IP est bloquée
3. Des prix différents selon les régions

Programme final :
1. avec ipipgoAgence résidentielle High Stash
2. changement automatique d'IP toutes les 50 demandes
3. coordonner la collecte avec les différents points nodaux de la ville
En conséquence, le volume quotidien moyen d'exploration est passé de 50 000 à 800 000, et le responsable de l'exploitation et de l'entretien n'a plus eu à se lever au milieu de la nuit pour changer de serveur.

Lignes directrices sur le déminage des problèmes courants

Q : Que puis-je faire si le proxy IP est trop lent ?
A : Choisir celui d'ipipgoPackages exclusifs de bande passanteLa vitesse de téléchargement peut atteindre 3MB/s, ce qui est plus rapide que le proxy partagé.

Q : Comment changer automatiquement l'adresse IP du proxy ?
R : Ajoutez un minuteur dans le code et appelez l'API d'ipipgo pour obtenir la nouvelle adresse. Le format de retour de leur interface est simple, avec une analyse JSON directe sur la ligne.

Q : Que dois-je faire si je rencontre une erreur de certificat SSL ?
R : Ajoutez ceci au HttpClientHandler :
ServerCertificateCustomValidationCallback = (msg, cert, chain, errors) => true
Cependant, soyez conscient des risques de sécurité et il est préférable de l'utiliser avec le proxy HTTPS d'ipipgo.

Cinq principes des conseils anti-blocage

• Ne pas demander trop régulièrement (hibernation aléatoire de 0,5 à 3 secondes)
• User-Agent en a quelques autres en rotation.
• Pour les projets importantsProxy statique de longue durée pour ipipgo
• Traitement en temps utile des cookies anti-crawl des sites web
• Réduction de la fréquence de collecte la nuit

Enfin, je voudrais dire quelques mots, n'économisez pas d'argent sur les agents pour les crawlers. J'ai utilisé des proxys gratuits auparavant, et 8 sur 10 d'entre eux ne fonctionnaient pas, et ils perdaient toujours des données. Depuis la version entreprise d'ipipgo, un million de requêtes par jour, aussi stable que le vieux chien, ça sent vraiment bon !