依星源码资源网,依星资源网

 找回密码
 立即注册

QQ登录

只需一步,快速开始

【好消息,好消息,好消息】VIP会员可以发表文章赚积分啦 !
查看: 5|回复: 0

一个基于 .NET 的多平台热门新闻/热榜爬虫库,当前支持微博、知乎、B 站、百度、抖音、虎扑、头条、腾讯、掘金、澎湃、凤凰网、豆瓣等平台爬虫

[复制链接] 主动推送

2万

主题

2万

帖子

2万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
22309
发表于 2 小时前 | 显示全部楼层 |阅读模式
一个基于 .NET 的多平台热门新闻/热榜爬虫库,当前支持微博、知乎、B 站、百度、抖音、虎扑、头条、腾讯、掘金、澎湃、凤凰网、豆瓣等平台爬虫
一个基于 .NET 开箱即用的爬虫库,使用复杂度极低,预设多平台热榜爬虫,当前支持微博、知乎、B 站、百度、抖音、虎扑、头条、腾讯、掘金、澎湃、凤凰网、豆瓣、Csdn、博客园等平台爬虫,除了预设热榜数据爬取,也支持动态数据集爬取。项目开源,后续将增加更多平台及数据、视频爬取。
  • 抓取间隔建议控制在五分钟以上,避免频繁抓取导致 IP 被封禁
  • 爬取的数据仅限用于个人学习、研究或公益目的。不得用于商业售卖、攻击他人或任何非法活动,否则需自行承担法律责任。
安装(NuGet)
推荐聚合包(含全部平台):
dotnet add package Aneiang.Pa

按需引用单个包(示例):
dotnet add package Aneiang.Pa.BaiDu

已发布包[td]
Package说明
Aneiang.Pa聚合包,包含全部平台实现
Aneiang.Pa.Core核心接口与模型、代理池功能
Aneiang.Pa.Dynamic动态爬虫
Aneiang.Pa.AspNetCoreASP.NET Core Web API 扩展(提供 RESTful API 控制器)
Aneiang.Pa.BaiDu百度热榜爬虫
Aneiang.Pa.BilibiliB 站热搜爬虫
Aneiang.Pa.WeiBo微博热搜爬虫
Aneiang.Pa.ZhiHu知乎热榜爬虫
Aneiang.Pa.DouYin抖音热榜爬虫
Aneiang.Pa.HuPu虎扑热帖/热榜爬虫
Aneiang.Pa.TouTiao今日头条热榜爬虫
Aneiang.Pa.Tencent腾讯热榜爬虫
Aneiang.Pa.JueJin掘金热榜爬虫
Aneiang.Pa.ThePaper澎湃热榜爬虫
Aneiang.Pa.DouBan豆瓣热榜爬虫
Aneiang.Pa.IFeng凤凰网热榜爬虫
Aneiang.Pa.CsdnCSDN热榜爬虫
Aneiang.Pa.CnBlog博客园热榜爬虫

代理池功能(Proxy Pool)
支持配置多个代理服务器,自动轮询或随机选择代理进行请求,有效避免 IP 被封禁。
功能特性
  • ✅ 支持多个代理服务器配置
  • ✅ 支持两种选择策略:轮询(RoundRobin)和随机(Random)
  • ✅ 支持带认证的代理(http://user:password@host:port)
  • ✅ 可通过配置文件或代码配置
  • ✅ 未启用时自动退化为普通 HttpClient
代理选择策略
  • RoundRobin(轮询):按顺序依次使用代理服务器,确保负载均衡
  • Random(随机):每次随机选择一个代理服务器
代理地址格式
支持以下格式的代理地址:
  • http://host:port - HTTP 代理(无认证)
  • http://user:password@host:port - HTTP 代理(带认证)
  • https://host:port - HTTPS 代理
注意事项
  • 启用检查:如果 Enabled = true 但未配置代理列表,会抛出异常
  • HttpClient 名称:默认 HttpClient 名称为 Aneiang.Pa.DefaultHttpClient,爬虫会自动使用该 HttpClient
  • 代理优先级:如果在 AddNewsScraper 之前调用 AddPaDefaultHttpClientWithProxy,爬虫会使用配置的代理池
  • 未启用时:当 Enabled = false 或代理列表为空时,会自动退化为普通 HttpClient,不影响正常使用

一个基于 .NET 的多平台热门新闻/热榜爬虫库,当前支持微博、知乎、B 站、百度、抖音、虎扑、头条、腾讯、 ...

一个基于 .NET 的多平台热门新闻/热榜爬虫库,当前支持微博、知乎、B 站、百度、抖音、虎扑、头条、腾讯、 ...



链接: https://pan.baidu.com/s/1Ee_pagnRllD0ExEWKTcK0Q
提取码下载:
文件名称:提取码下载.txt 
下载次数:0  文件大小:16 Bytes  售价:19金钱 [记录]
下载权限: 不限 [购买VIP]   [充值]   [在线充值]   【VIP会员6折;永久VIP4折】
安全检测,请放心下载





相关帖子

扫码关注微信公众号,及时获取最新资源信息!下载附件优惠VIP会员6折;永久VIP4折
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

免责声明:
1、本站提供的所有资源仅供参考学习使用,版权归原著所有,禁止下载本站资源参与商业和非法行为,请在24小时之内自行删除!
2、本站所有内容均由互联网收集整理、网友上传,并且以计算机技术研究交流为目的,仅供大家参考、学习,请勿任何商业目的与商业用途。
3、若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。
4、论坛的所有内容都不保证其准确性,完整性,有效性,由于源码具有复制性,一经售出,概不退换。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
5、用户使用本网站必须遵守适用的法律法规,对于用户违法使用本站非法运营而引起的一切责任,由用户自行承担
6、本站所有资源来自互联网转载,版权归原著所有,用户访问和使用本站的条件是必须接受本站“免责声明”,如果不遵守,请勿访问或使用本网站
7、本站使用者因为违反本声明的规定而触犯中华人民共和国法律的,一切后果自己负责,本站不承担任何责任。
8、凡以任何方式登陆本网站或直接、间接使用本网站资料者,视为自愿接受本网站声明的约束。
9、本站以《2013 中华人民共和国计算机软件保护条例》第二章 “软件著作权” 第十七条为原则:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬。若有学员需要商用本站资源,请务必联系版权方购买正版授权!
10、本网站如无意中侵犯了某个企业或个人的知识产权,请来信【站长信箱312337667@qq.com】告之,本站将立即删除。
郑重声明:
本站所有资源仅供用户本地电脑学习源代码的内含设计思想和原理,禁止任何其他用途!
本站所有资源、教程来自互联网转载,仅供学习交流,不得商业运营资源,不确保资源完整性,图片和资源仅供参考,不提供任何技术服务。
本站资源仅供本地编辑研究学习参考,禁止未经资源商正版授权参与任何商业行为,违法行为!如需商业请购买各资源商正版授权
本站仅收集资源,提供用户自学研究使用,本站不存在私自接受协助用户架设游戏或资源,非法运营资源行为。
 
在线客服
点击这里给我发消息 点击这里给我发消息 点击这里给我发消息
售前咨询热线
312337667

微信扫一扫,私享最新原创实用干货

QQ|免责声明|小黑屋|依星资源网 ( 鲁ICP备2021043233号-3 )|网站地图

GMT+8, 2025-12-28 21:44

Powered by Net188.com X3.4

邮箱:312337667@qq.com 客服QQ:312337667(工作时间:9:00~21:00)

快速回复 返回顶部 返回列表