cgb-bigdata Goto Github PK

amoro

Amoro is a Lakehouse management system built on open data lake formats.

analysis-ik-online

IKAnalyzer多分词配置、在线词典管理和热重载

bigdatasrcanalysis

commengzcaa

dataease

人人可用的开源数据可视化分析工具。

datax

DataX是阿里云DataWorks数据集成的开源版本。

doris

Apache Doris is an easy-to-use, high performance and unified analytics database.

drill

Apache Drill is a distributed MPP query layer for self describing data

event-driven-kafka-flink-es

fibomodel

数据建模平台

fibotracking

FiboTracking，帮助用户解决传统数据分析中数据割裂、用户身份难以识别统一、数据众多却难以利用的问题，通过ID-MAPPING技术，为用户打通数据孤岛，构建客户360度全景画像，提供事件分析、留存分析、漏斗分析等功能，深度赋能营销部门进行高效决策。

flink-bahavior-trace

将不同平台的用户行为轨迹,清洗后存储es,涉及到mysql->kafka->flink->hbase->es

flink-sql-e2e-tests

Tests suits mainly for Flink SQL connectors, such as Kafka to MySQL, Kafka to ES.

graphql-calculator

轻量级 graphql 查询计算引擎，为 graphql 查询提供字段加工、列表过滤排序、简单控制流和依赖数据编排的能力。A lightweight graphql calculation engine, which is used to alter execution behavior of query.

hadoop_study

定期更新Hadoop生态圈中常用大数据组件文档 重心依次为: Flink Solr Sparksql ES Scala Kafka Hbase/phoenix Redis Kerberos (项目包含hadoop思维导图 印象笔记 Scala版本简单demo 常用工具类 去敏后的train code 持续更新!!!)

havenask

ido

大数据相关技术学习整理，诸如：HBase、Spark、Flink、Kafka、Druid、Hive、ES、Kudu、Mongo 等。

javabigdata

非科班转行大数据开发

jun_bigdata

jun_bigdata大数据平台服务框架。实现了Kafka实时数据过滤、清洗、转换、消费，实现了Spark SQL对Redis、MongoDB等非关系型数据库的数据的读写；集成了规则引擎，可基于规则引擎实现客户标签、画像等相关功能。输出各类大屏展示看板DashBoard等

kafka-es-flink

kafka-flink-hbase

flink实时处理kafka传来的数据通过连接池技术写入hbase

kettle-manager

专门为kettle这款优秀的ETL工具开发的web端管理工具。

kyuubi

Apache Kyuubi is a distributed and multi-tenant gateway to provide serverless SQL on data warehouses and lakehouses.

mumu-hbase

mumu-hbase项目是一个初步了解和学习hbase的demo项目，通过这个项目了解到hbase列数据库是由表、列族、列限定符、时间戳、列值组成的半结构化、疏散列的数据库，用户可以动态的添加列，可以使一个表达到亿行百万列，而不影响查询能力，这是由于hmast + hregionserver + memstore + blockcache 架构支撑的。同时通过mumu-hbase项目了解到hbase的基本使用方法，包括表、列族、列、过滤器、协处理器等功能。hbase不仅支持原生hbase API调用，还支持REST、AVRO、THRIFT等第三方客户端调用。

quicksql

A Flexible, Fast, Federated(3F) SQL Analysis Middleware for Multiple Data Sources

scrapstackexchange

Scrapping various stack exchange sites to observer the trends in usage of various programming languages

stream-ql

用 SQL 来描述 Stream API。可用 SQL 来实现数据处理逻辑，支持实时数据处理，支持聚合，分组，自定义函数等功能。让数据处理更简单。

userbehavioranalysis

Kafka+Flink+MySQL+ES demo

xap

Distributed, highly-scalable, In Memory Data Grid

xsql

Unified SQL Analytics Engine Based on SparkSQL