消息推送平台推送下发【邮件】【短信】【微信服务号】【微信小程序】【企业微信】【钉钉】等消息类型
所使用的技术栈包括:SpringBoot、SpringDataJPA、MySQL、Docker、docker-compose、Kafka、Redis、Apollo、prometheus、Grafana、GrayLog、Flink、Xxl-job、Echarts等等
项目介绍项目核心功能:统一的接口发送各种类型消息,对消息生命周期全链路追踪 项目出现意义:只要公司内有发送消息的需求,都应该要有类似的项目,对各类消息进行统一发送处理。这有利于对功能的收拢,以及提高业务需求开发的效率 系统项目架构项目核心流程:-api接收到发送消息请求,直接将请求进MQ。-handler消费MQ消息后由各类消息的Handler进行发送处理 Question :为什么发个消息需要MQ? Answer:发送消息实际上是调用各个服务提供的API,假设某消息的服务超时,-api如果是直接调用服务,那存在超时风险,拖垮整个接口性能。MQ在这是为了做异步和解耦,并且在一定程度上抗住业务流量。 Question:能简单说下接入层做了什么事吗? Answer: Question:-stream和-datahouse的作用? Answer:-handler在发送消息的过程中会做些通用业务处理以及发送消息,这个过程会产生大量的日志数据。日志数据会被收集至MQ,由-stream流式处理模块进行消费并最后将数据写入至-datahouse Question:-admin和-web和-cron的作用? Answer:autsin-admin是项目的前端项目,可通过它实现对管理消息以及查看消息下发的情况,而-web则是提供相关的接口给到-admin进行调用(项目是前后端分离的) 业务方可操作-admin管理后台调用-web创建定时发送消息,-cron就承载着定时任务处理的工作 使用姿势目前引用的中间件教程的安装姿势均基于Centos 7.6,项目强依赖MySQL/Redis/Kafka(大概需要4G内存),弱依赖prometheus/graylog/flink/xxl-job/apollo(完全部署所有的服务,大概8G+内存)。如果缺少相关的组件可戳:安装相关组件教程。 实在想要clone项目后不用自己部署环境直接在本地启动debug,我这提供了会员服务,直连部署好的服务器
1、使用的MySQL版本5.7x。如果目前使用的MySQL版本8.0,注意改变pom.xml所依赖的版本 2、填写application.properties中-database对应的ip/port/username/password信息 3、执行sql文件夹下的.sql创建对应的表以及插入测试数据 4、填写application.properties中-kafka对应的ip/port信息 5、填写application.properties中-redis对应的ip/port信息 6、检查消息队列topic:.business.topic.name(我的topicName为:Business) 7、以上配置信息都在application.properties文件中修改。(prometheus/graylog/flink/xxl-job/apollo可选) 8、发送渠道账号的信息都配置在local.properties,配置的示例参照com.java3y..support.utils#getAccount中的注释 10、调用http接口com.java3y..web.controller#send给自己发一条邮件或短信感受(邮件门槛相对较低,建议配置邮件) 里程碑- Maven+SpringBoot项目搭建
- logback日志记录项目运行时信息,引入common/guava/Hutool/Lombok/fastjson/OkHttp工具包
- 接入腾讯云渠道发送一条短信
- 使用SpringData JPA将短信发送记录存储至MySQL
- 使用SpringBoot接入Kafka
- 利用责任链完成对接入层的请求进行封装(责任链模式)
- 消费层实现数据隔离(线程池:生产者与消费者模式)
- 通用去重消息功能(SpringBoot接入Redis并使用pipeline减少网络请求)
- 配置服务器和docker容器以及SpringBoot应用的监控(prometheus+Grafana+auctuator)
- 接入分布式配置中心完成 丢失消息、白名单以及账号配置(Apollo分布式配置中心)
- 邮件渠道接入
- 日志链路数据追踪 + 注解式打印日志(优雅打印日志以及数据埋点)
- 接入GrayLog分布式日志收集框架
- 引入前端低代码平台AMIS搭建后台管理页面
- 接入分布式定时任务框架定时发送任务(xxl-job定时任务框架),编写上传文件接口并使用LazyPending批处理人群文件数据
- 接入实时流计算平台(Flink),实时日志数据根据用户维度和消息模板维度清洗至Redis
- 通过AMIS低代码平台接入echarts图表展示实时聚合后的数据
- 优雅停机、动态线程池参数配置
- 企业微信渠道接入
- 夜间屏蔽次日早晨推送(xxl-job定时任务框架,另类的延时队列)
- 钉钉渠道接入
- 单机限流实现
- 引入单测框架,编写部分单测用例
- 接入微信服务号渠道(已有pull request代码)
- 接入微信小程序渠道(已有pull request代码)
- 接入PUSH渠道
- 接入云片短信渠道,并短信支持流量配置,拉取腾讯云短信回执
- 完成接入钉钉机器人渠道所有类型的消息
- 完成接入钉钉工作渠道所有类型的消息,包括对文件素材的上传功能
- 总体架构已完成,持续做基础建设和优化代码

链接: https://pan.baidu.com/s/1057V_y6s7WpoSw-EU1nfNw
提取码下载:
|