依星源码资源网,依星资源网

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 31|回复: 0

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪

[复制链接] 主动推送

5762

主题

5814

帖子

7271

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
7271
发表于 2024-4-12 12:20:39 | 显示全部楼层 |阅读模式
SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪
一、项目简介
消息推送平台推送下发【邮件】【短信】【微信服务号】【微信小程序】【企业微信】【钉钉】等消息类型。 所使用的技术栈包括:SpringBoot、SpringDataJPA、MySQL、Docker、docker-compose、Kafka、Redis、Apollo、prometheus、Grafana、GrayLog、Flink、Xxl-job、Echarts等等。

二、界面展示

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪


三、功能概述
austin项目核心功能:统一的接口发送各种类型消息,对消息生命周期全链路追踪

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪
项目出现意义:只要公司内有发送消息的需求,都应该要有类似austin的项目,对各类消息进行统一发送处理。这有利于对功能的收拢,以及提高业务需求开发的效率

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪


里程碑
  • Maven+SpringBoot项目搭建
  • logback日志记录项目运行时信息,引入common/guava/Hutool/Lombok/fastjson/OkHttp工具包
  • 接入腾讯云渠道发送一条短信
  • 使用SpringData JPA将短信发送记录存储至MySQL
  • 使用SpringBoot接入Kafka
  • 利用责任链完成对接入层的请求进行封装(责任链模式)
  • 消费层实现数据隔离(线程池:生产者与消费者模式)
  • 通用去重消息功能(SpringBoot接入Redis并使用pipeline减少网络请求)
  • 配置服务器和docker容器以及SpringBoot应用的监控(prometheus+Grafana+auctuator)
  • 接入分布式配置中心完成 丢失消息、白名单以及账号配置(Apollo分布式配置中心)
  • 邮件渠道接入
  • 日志链路数据追踪 + 注解式打印日志(优雅打印日志以及数据埋点)
  • 接入GrayLog分布式日志收集框架
  • 引入前端低代码平台AMIS搭建后台管理页面
  • 接入分布式定时任务框架定时发送任务(xxl-job定时任务框架),编写上传文件接口并使用LazyPending批处理人群文件数据
  • 接入实时流计算平台(Flink),实时日志数据根据用户维度和消息模板维度清洗至Redis
  • 通过AMIS低代码平台接入echarts图表展示实时聚合后的数据
  • 优雅停机、动态线程池参数配置
  • 企业微信渠道接入
  • 夜间屏蔽次日早晨推送(xxl-job定时任务框架,另类的延时队列)
  • 钉钉渠道接入
  • 编写单测
  • 持续提高消息推送系统的影响力,让更多的业务方了解其功能,进而挖掘更多拉新和唤醒用户的玩法,提高站内的次留率和转化率
  • 优化代码
  • 接入微信服务号渠道
  • 接入微信小程序渠道
  • 接入PUSH渠道
  • 接入工作流引擎实现对消息工单审核
近期更新时间:2022年3月30日
近期更新功能:钉钉群自定义机器人与工作消息渠道接入完成
五、技术选型系统项目架构
austin项目核心流程:austin-api接收到发送消息请求,直接将请求进MQ。austin-handler消费MQ消息后由各类消息的Handler进行发送处理

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪

Question :为什么发个消息需要MQ?
Answer:发送消息实际上是调用各个服务提供的API,假设某消息的服务超时,austin-api如果是直接调用服务,那存在超时风险,拖垮整个接口性能。MQ在这是为了做异步和解耦,并且在一定程度上抗住业务流量。
Question:能简单说下接入层做了什么事吗?
Answer:

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪
Question:austin-stream和austin-datahouse的作用?
Answer:austin-handler在发送消息的过程中会做些通用业务处理以及发送消息,这个过程会产生大量的日志数据。日志数据会被收集至MQ,由austin-stream流式处理模块进行消费并最后将数据写入至austin-datahouse

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪

SpringBoot消息推送平台,统一发送多消息,对消息生命周期全链路追踪
Question:austin-admin和austin-web和austin-cron的作用?
Answer:autsin-admin是austin项目的前端项目,可通过它实现对管理消息以及查看消息下发的情况,而austin-web则是提供相关的接口给到austin-admin进行调用(austin项目是前后端分离的)
业务方可操作austin-admin管理后台调用austin-web创建定时发送消息,austin-cron就承载着定时任务处理的工作
使用姿势
目前引用的中间件教程的安装姿势均基于Centos 7.6(完全部署所有的服务,大概8G内存),austin项目强依赖MySQL/Redis/Kafka/apollo,弱依赖prometheus/graylog/flink/xxl-job。如果缺少相关的组件可戳:安装相关组件教程。
1、austin使用的MySQL版本5.7x。如果目前使用的MySQL版本8.0,注意改变pom.xml所依赖的版本
2、填写application.properties中austin-database对应的ip/port/username/password信息
3、执行sql文件夹下的austin.sql创建对应的表以及插入测试数据
4、填写application.properties中austin-kafka对应的ip/port信息
5、填写application.properties中austin-redis对应的ip/port信息
6、检查apollo的app.id/apollo.bootstrap.namespaces,检查创建的消息队列topic:austin.business.topic.name
7、以上配置信息都在application.properties文件中修改。
8、由于使用了Apollo且我是在云服务器上安装的,我这边会直接跳过metaserver服务发现,在AustinApplication需要配置对应的apollo地址(注意端口!)
9、发送渠道账号的信息都配置在apollo,配置的示例参照com.java3y.austin.support.utils#getAccount中的注释
10、调用http接口com.java3y.austin.web.controller#send给自己发一条短信或者邮件感受
curl -XPOST "127.0.0.1:8080/send"  -H 'Content-Type: application/json'  -d '{"code":"send","messageParam":{"extra":null,"receiver":"13719333899"},"messageTemplateId":1}'

11、austin前端管理系统部署(一分钟即能打开)
12、正常使用数据管理(查看实时数据链路下发)需要将austin-stream的jar包上传至Flink,根据部署文档启动Flink。在打jar包前需要填写com.java3y.austin.stream.constants.AustinFlinkConstant中的redis和kafka的ip/port(注:日志的topic在application.properties中的austin.business.log.topic.name。如果没有该topic,需要提前创建)
13、正常使用定时任务需要部署xxl-job,根据部署文档启动xxl的调度中心,并在application.properteis中填写 austin-xxl-job-ip和austin-xxl-job-port
14、正常使用分布式日志采集需要部署graylog,根据部署文档启动graylog,并在application.properteis中填写 austin-grayLog-ip
14、正常使用系统监控需要部署promethus和grafana,根据部署文档配置grafana图表


附件下载:
文件名称:资源下载.txt 
下载次数:1  文件大小:108 Bytes  售价:39金钱 [记录]
下载权限: 不限 [购买VIP]   [充值]   [在线充值]   【VIP会员5折;永久VIP免费】
安全检测,请放心下载






相关帖子

扫码关注微信公众号,及时获取最新资源信息!下载附件优惠VIP会员5折;永久VIP免费
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

免责声明:
1、本站提供的所有资源仅供参考学习使用,版权归原著所有,禁止下载本站资源参与商业和非法行为,请在24小时之内自行删除!
2、本站所有内容均由互联网收集整理、网友上传,并且以计算机技术研究交流为目的,仅供大家参考、学习,请勿任何商业目的与商业用途。
3、若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。
4、论坛的所有内容都不保证其准确性,完整性,有效性。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
5、用户使用本网站必须遵守适用的法律法规,对于用户违法使用本站非法运营而引起的一切责任,由用户自行承担
6、本站所有资源来自互联网转载,版权归原著所有,用户访问和使用本站的条件是必须接受本站“免责声明”,如果不遵守,请勿访问或使用本网站
7、本站使用者因为违反本声明的规定而触犯中华人民共和国法律的,一切后果自己负责,本站不承担任何责任。
8、凡以任何方式登陆本网站或直接、间接使用本网站资料者,视为自愿接受本网站声明的约束。
9、本站以《2013 中华人民共和国计算机软件保护条例》第二章 “软件著作权” 第十七条为原则:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬。若有学员需要商用本站资源,请务必联系版权方购买正版授权!
10、本网站如无意中侵犯了某个企业或个人的知识产权,请来信【站长信箱312337667@qq.com】告之,本站将立即删除。
郑重声明:
本站所有资源仅供用户本地电脑学习源代码的内含设计思想和原理,禁止任何其他用途!
本站所有资源、教程来自互联网转载,仅供学习交流,不得商业运营资源,不确保资源完整性,图片和资源仅供参考,不提供任何技术服务。
本站资源仅供本地编辑研究学习参考,禁止未经资源商正版授权参与任何商业行为,违法行为!如需商业请购买各资源商正版授权
本站仅收集资源,提供用户自学研究使用,本站不存在私自接受协助用户架设游戏或资源,非法运营资源行为。
 
在线客服
点击这里给我发消息 点击这里给我发消息 点击这里给我发消息
售前咨询热线
312337667

微信扫一扫,私享最新原创实用干货

QQ|免责声明|依星源码资源网 ( 鲁ICP备2021043233号-3 )|网站地图

GMT+8, 2024-5-3 13:56

Powered by Net188.com X3.4

邮箱:312337667@qq.com 客服QQ:312337667(工作时间:9:00~21:00)

快速回复 返回顶部 返回列表