依星源码资源网,依星资源网

 找回密码
 立即注册

QQ登录

只需一步,快速开始

【好消息,好消息,好消息】VIP会员可以发表文章赚积分啦 !
查看: 7|回复: 0

一款轻量级 Nginx 访问日志分析与可视化面板,提供实时统计

[复制链接] 主动推送

2万

主题

2万

帖子

2万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
22677
发表于 前天 18:49 | 显示全部楼层 |阅读模式
一款轻量级 Nginx 访问日志分析与可视化面板,提供实时统计
轻量级 Nginx 访问日志分析与可视化面板,提供实时统计、PV 过滤、IP 归属地与客户端解析。
项目开发技术栈
重要提示(版本 > 1.5.3):已完全弃用 SQLite;单体部署必须自备 PostgreSQL 并配置 DB_DSN(或 database.dsn)。Docker 镜像内置 PostgreSQL。
  • 后端:Go 1.24.x · Gin · Logrus
  • 数据:PostgreSQL (pgx)
  • IP 归属地:ip2region(本地库) + ip-api.com(远程批量)
  • 前端:Vue 3 · Vite · TypeScript · PrimeVue · ECharts/Chart.js · Scss
  • 容器:Docker / Docker Compose · Nginx(前端静态部署)
IP 归属地查询策略
  • 快速过滤:空值/本地/回环地址返回“本地”,内网地址返回“内网/本地网络”。
  • 解析解耦:日志解析阶段仅入库并标记“待解析”,IP 归属地由后台任务异步补齐并回填。
  • 缓存优先:持久化缓存 + 内存缓存命中直接返回(默认上限 1,000,000 条)。
  • 本地优先(IPv4/IPv6):优先查 ip2region,本地结果可用时直接使用。
  • 远程补齐:本地返回“未知”或解析失败时,调用远端 API(默认 ip-api.com/batch,可配置)批量查询(超时 1.2s,单批最多 100 个)。
  • 远程失败:返回“未知”。
归属地解析未完成时,页面会显示“待解析”,地域统计可能不完整。
本地数据库 ip2region_v4.xdb 与 ip2region_v6.xdb 内嵌在二进制中,首次启动会自动解压到 ./var/nginxpulse_data/,并尝试加载向量索引提升查询性能。
本项目会访问外网 IP 归属地 API(默认 ip-api.com),部署环境需放行该域名的出站访问。
自定义 IP 归属地 API
可通过 system.ipGeoApiUrl 或环境变量 IP_GEO_API_URL 指向自定义服务。 注意事项:编写 API 服务时,请务必严格按照本章节所述协议进行设计与返回,否则解析结果不可用。
请求协议:
  • POST JSON,Content-Type: application/json
  • 请求体为数组,每个元素包含:
    • query:IP 字符串
    • fields:返回字段列表(可忽略)
    • lang:语言(zh-CN / en,可忽略)

响应协议:
  • 返回 JSON 数组(顺序与请求一致,或通过 query 回填)
  • 每个元素必须包含以下字段(字段含义如下):
    • status:success 表示成功,其他值视为失败
    • message:失败原因(可为空)
    • query:IP 字符串(用于匹配请求)
    • country:国家名称(用于全球维度)
    • countryCode:国家代码(如 CN、US)
    • region:区域代码(可为空)
    • regionName:省/州名称
    • city:城市名称
    • isp:运营商名称(可为空)

当 status != success 或地址字段为空时,会回填为“未知”。

访问:
  • 前端:http://localhost:8088
  • 后端:http://localhost:8089
前端语言:
  • 默认语言由后端 APP_LANGUAGE / 配置文件 system.language 决定。
  • 可通过 URL 参数覆盖:?lang=en 或 ?locale=en-US。
二次开发注意事项
环境依赖
  • Go 1.24.x(与 go.mod 保持一致)
  • Node.js 20+ / npm
  • Docker(可选,用于容器化)
配置与数据目录
  • 配置文件:configs/nginxpulse_config.json
  • 数据目录:var/nginxpulse_data/(相对当前工作目录)
    • nginx_scan_state.json:日志扫描游标
    • ip2region_v4.xdb:IPv4 本地库
    • ip2region_v6.xdb:IPv6 本地库
    • nginxpulse.log:应用运行日志(解析进度/告警等),不参与访问统计
    • nginxpulse_backup.log:运行日志轮转文件(超过 5MB 自动轮转)
  • Docker 镜像内置 PostgreSQL,默认数据目录:var/pgdata/
  • 数据库由 PostgreSQL 提供,不存放在数据目录内。
  • 首次启动会自动创建数据库结构,并在清理日志时回收维表孤儿数据。
  • 数据库内包含维表与聚合表(*_dim_*、*_agg_*),用于去重和统计加速。
  • 环境变量覆盖:
    • CONFIG_JSON / WEBSITES
    • LOG_DEST / TASK_INTERVAL / SERVER_PORT
    • LOG_RETENTION_DAYS / LOG_PARSE_BATCH_SIZE / IP_GEO_CACHE_LIMIT
    • IP_GEO_API_URL
    • PV_STATUS_CODES / PV_EXCLUDE_PATTERNS / PV_EXCLUDE_IPS
    • DB_DRIVER / DB_DSN
    • DB_MAX_OPEN_CONNS / DB_MAX_IDLE_CONNS / DB_CONN_MAX_LIFETIME
    • POSTGRES_USER / POSTGRES_PASSWORD / POSTGRES_DB
    • POSTGRES_PORT / POSTGRES_LISTEN / POSTGRES_CONNECT_HOST / PGDATA

大日志解析策略
  • 默认先解析最近 7 天的数据,保证前台查询能尽快返回。
  • 历史数据通过后台分批回填(按时间/字节预算),避免阻塞周期性扫描。
  • 当前台查询的时间范围仍在回填中时,会提示“所选范围仍在解析中,数据可能不完整”。
大日志解析加速亮点(10G+)
  • 解析与归属地解耦:日志解析阶段只做结构化入库 + “待解析”占位,不再同步做 IP 归属地查询,大幅减少耗时瓶颈。
  • 后台异步回填:IP 归属地解析进入待处理队列,后台按批解析并回填 location,不阻塞主解析流程。
  • 批量入库可配置:支持 LOG_PARSE_BATCH_SIZE 控制批量入库大小,兼顾吞吐与内存占用。
  • 冷热分层处理:最近 7 天优先解析,历史数据回填按预算进行,避免单次扫描阻塞。
  • 缓存命中优先:IP 归属地缓存命中直接复用,减少远程查询次数。

一款轻量级 Nginx 访问日志分析与可视化面板,提供实时统计

一款轻量级 Nginx 访问日志分析与可视化面板,提供实时统计

一款轻量级 Nginx 访问日志分析与可视化面板,提供实时统计

一款轻量级 Nginx 访问日志分析与可视化面板,提供实时统计



链接: https://pan.baidu.com/s/1vSvVtPQdhybZClW_N7jpqg
提取码下载:
文件名称:提取码下载.txt 
下载次数:0  文件大小:16 Bytes  售价:39金钱 [记录]
下载权限: 不限 [购买VIP]   [充值]   [在线充值]   【VIP会员6折;永久VIP4折】
安全检测,请放心下载





相关帖子

扫码关注微信公众号,及时获取最新资源信息!下载附件优惠VIP会员6折;永久VIP4折
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

免责声明:
1、本站提供的所有资源仅供参考学习使用,版权归原著所有,禁止下载本站资源参与商业和非法行为,请在24小时之内自行删除!
2、本站所有内容均由互联网收集整理、网友上传,并且以计算机技术研究交流为目的,仅供大家参考、学习,请勿任何商业目的与商业用途。
3、若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。
4、论坛的所有内容都不保证其准确性,完整性,有效性,由于源码具有复制性,一经售出,概不退换。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
5、用户使用本网站必须遵守适用的法律法规,对于用户违法使用本站非法运营而引起的一切责任,由用户自行承担
6、本站所有资源来自互联网转载,版权归原著所有,用户访问和使用本站的条件是必须接受本站“免责声明”,如果不遵守,请勿访问或使用本网站
7、本站使用者因为违反本声明的规定而触犯中华人民共和国法律的,一切后果自己负责,本站不承担任何责任。
8、凡以任何方式登陆本网站或直接、间接使用本网站资料者,视为自愿接受本网站声明的约束。
9、本站以《2013 中华人民共和国计算机软件保护条例》第二章 “软件著作权” 第十七条为原则:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬。若有学员需要商用本站资源,请务必联系版权方购买正版授权!
10、本网站如无意中侵犯了某个企业或个人的知识产权,请来信【站长信箱312337667@qq.com】告之,本站将立即删除。
郑重声明:
本站所有资源仅供用户本地电脑学习源代码的内含设计思想和原理,禁止任何其他用途!
本站所有资源、教程来自互联网转载,仅供学习交流,不得商业运营资源,不确保资源完整性,图片和资源仅供参考,不提供任何技术服务。
本站资源仅供本地编辑研究学习参考,禁止未经资源商正版授权参与任何商业行为,违法行为!如需商业请购买各资源商正版授权
本站仅收集资源,提供用户自学研究使用,本站不存在私自接受协助用户架设游戏或资源,非法运营资源行为。
 
在线客服
点击这里给我发消息 点击这里给我发消息 点击这里给我发消息
售前咨询热线
312337667

微信扫一扫,私享最新原创实用干货

QQ|免责声明|小黑屋|依星资源网 ( 鲁ICP备2021043233号-3 )|网站地图

GMT+8, 2026-1-27 15:29

Powered by Net188.com X3.4

邮箱:312337667@qq.com 客服QQ:312337667(工作时间:9:00~21:00)

快速回复 返回顶部 返回列表