LinkedIn抓取：LinkedIn代理数据采集

搞LinkedIn数据为啥非得用代理？

各位做海外业务的老板应该都懂，想从LinkedIn上挖客户资料，手动复制粘贴能累死个人。用爬虫吧，刚抓两页账号就被封得死死的。这时候就得靠代理IP来伪装成不同地区的真实用户，ipipgo的动态住宅IP池子实测能扛住LinkedIn的反爬机制。

选代理IP要看哪几个硬指标

市面上的代理服务商吹得天花乱坠，咱得看实在的：

ipipgo在这几个方面做得挺到位，特别是他们的IP健康度检测系统，每次分配IP前都会先扫一遍黑名单状态。

手把手教你怎么配置

以Python的requests库为例，用ipipgo的代理服务这样配置：

import requests

proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:9020',
    'https': 'http://用户名:密码@gateway.ipipgo.com:9020'
}

resp = requests.get(
    'https://www.linkedin.com/sales/search/people',
    proxies=proxies,
    headers={'User-Agent': 'Mozilla/5.0'} 
)

注意要把用户名密码换成自己在ipipgo后台拿到的认证信息，建议每抓20次就换个IP，别逮着一个IP往死里用。

躲封杀的三个骚操作

1. 上班族作息模拟：工作日早9晚6搞数据采集，周末歇菜
2. 鼠标轨迹随机化：别整机械式的直线滑动
3. 企业邮箱伪装：抓数据时带上公司域名的邮箱参数

QA环节

Q：为啥用了代理还是被封？
A：可能用了数据中心IP，得换ipipgo的住宅动态IP，他们家IP库90%以上是家庭宽带

Q：需要自己维护IP池吗？
A：千万别！ipipgo的后台自动剔除失效IP，比人工维护靠谱多了

Q：同时开多少线程合适？
A：建议新手控制在5线程以内，老司机最多开到15线程，记得用ipipgo的智能速率调节功能

这些坑千万别踩

见过有人贪便宜买共享IP，结果几十号人同时用同个IP抓数据，账号直接永封。还有铁憨憨开着代理连续抓8小时，LinkedIn又不是傻子。建议用ipipgo的自动休眠模式，抓1小时歇15分钟，跟真人操作一毛一样。

最后说句实在话，想稳定搞LinkedIn数据就得舍得在代理上花钱。ipipgo最近在做活动，新用户送5G流量，够测试大半个月了。记住要用他们的动态住宅代理，别选成静态企业IP，那玩意儿适合做别的事。