C#解析HTML: AngleSharp库教程

当爬虫遇上反爬，代理IP来救场

大伙儿用C写爬虫最头疼啥？十个程序员九个会说封IP！这时候就得请出咱们的救星——代理IP。今天要说的AngleSharp库不仅解析HTML快准狠，配上ipipgo家的代理IP服务，直接让爬虫战斗力翻倍。

五分钟搞定AngleSharp基础操作

先整点实在的，安装包走起：

Install-Package AngleSharp

举个抓商品价格的例子，注意看怎么用CSS选择器：

var config = Configuration.Default.WithDefaultLoader();
var context = BrowsingContext.New(config);
var document = await context.OpenAsync("目标网址");

var priceNodes = document.QuerySelectorAll(".price-item");
foreach (var node in priceNodes)
{
    Console.WriteLine(node.TextContent);
}

这时候要是网站发现你频繁访问，咔嚓就把IP封了。别慌，咱们的ipipgo代理IP马上派上用场。

给爬虫穿隐身衣的秘诀

重点来了！在OpenAsync方法里加代理设置：

var proxy = new ProxyOptions
{
    Type = ProxyType.Http,
    Host = "ipipgo分配的代理地址",
    Port = 端口号
};

var config = Configuration.Default
    .WithDefaultLoader()
    .WithProxy(proxy);

记得把ipipgo提供的账号密码塞进请求头：

var headers = new Dictionary
{
    {"Proxy-Authorization", "Basic " + Convert.ToBase64String(Encoding.ASCII.GetBytes("账号:密码"))}
};

实战技巧大放送

老司机常见问题QA

Q：代理IP突然失效咋整？
A：赶紧换ipipgo的自动轮换功能，建议选他们的企业版套餐，IP池更新速度贼快。

Q：怎么判断代理是否生效？
A：在代码里加个检测，看看返回的IP是不是代理IP：

var checkDoc = await context.OpenAsync("http://ip.ipipgo.com/");
Console.WriteLine(checkDoc.Body.TextContent);

Q：同时要处理多个网站咋办？
A：用ipipgo的并发代理功能，配合AngleSharp的并行处理，记得设置合理的请求间隔。

避坑指南

新手常犯的三大错误：

1. 代理IP过期了还在死磕（用ipipgo的到期提醒功能）
2. 请求头没带User-Agent（容易被识别为机器人）
3. 忽略SSL证书验证（某些网站会拦截）

最后唠叨一句，选代理服务商得擦亮眼。像ipipgo这种能实时监控IP可用率的，用起来确实省心。他们家的API对接文档写得特详细，还有专门的技术客服随时待命，遇到问题不怕没人管。