Skip to content

NathanDataPlayer/realtime_event_analysis

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

8 Commits
 
 
 
 

Repository files navigation

realtime_event_analysis

项目背景

  • 面向"Kafka → StarRocks → 可视化"的端到端实时数仓分析项目。
  • 目标是快速搭建消息生产、实时摄取(Routine Load)、作业管理与观测的闭环。
  • 提供易用的前端 UI 与后端 API,降低对 StarRocks Routine Load 的使用门槛。
  • 支持本地一键编排(Docker Compose),同时具备灵活的开发预览(Go 后端本地运行)。

核心价值

  • 一站式:从数据生成、Kafka 管理、StarRocks 摄取到可视化查看和实时自助的数据分析,链路完整。
  • 低成本试用:容器化部署,快速拉起 Kafka、StarRocks、Kafka UI、Metabase。
  • 作业管理安全:支持"暂停 → 修改 → 自动恢复"的作业编辑流程,符合 ALTER ROUTINE LOAD 要求。
  • 可观测性:UI 中实时查看作业状态与进度,辅助调试与运维。

技术架构

技术栈

  • 后端:Go(API,提供 UI 与 REST 服务)
  • 前端:原生 HTML/CSS/JS(ui/)
  • 数据与消息:Kafka,Zookeeper
  • 实时数仓:StarRocks FE(HTTP 8030 / MySQL 协议 9030)、BE
  • 可视化分析:Metabase

部署与运行

拉起依赖服务(Kafka/StarRocks 等)

docker compose up -d  # 或根据 README 步骤启动

开发后端与预览 UI

make run  # 后端监听 http://localhost:8088/,同时服务前端静态页面

打开 UI

快速验证 Kafka 与 StarRocks

效果演示

(1) 数据可配置化接入

数据可配置化接入

(2) 支持作业的创建、修改与停止等管理

作业管理

(3) 整体集群的作业可视化

image

实时接入源端数据到SR后,对接Metabase,可以实时分析数据

实时DAU分析

实时DAU分析

About

实时数据分析项目。通过构建kafka-routine load-sr的一体化pipeline,对接分析工具metabase,实现数据的实时自助分析。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors