emmataobao Goto Github PK

datasophon

It is committed to rapidly implementing the deployment, management, monitoring and automatic operation and maintenance of the big data cloud native platform, helping you quickly build a stable, efficient, elastic and scalable big data cloud native platform.

datax

dolphinscheduler

Apache DolphinScheduler is the modern data orchestration platform. Agile to create high performance workflow with low-code

flinkx

基于flink的分布式数据同步工具

hdfsfilecheck

针对下游业务在执行的时候，需要检查文件的依赖，故做此工具。功能：delete HDFS文件、waits直到文件存在、count统计目录下文件个数、write向HDFS写文件、toEmail报错信息发邮件。

hdfsfilemerge

【HDFS小文件合并】功能介绍： HDFS文件块大小为128M,长期使用集群使的文件块过多，小数据文件过多造成集群报警。因此需在对小文件进行合并处理。 注意以下任意参数不可缺失，程序中不设默认参数。 入口函数： com.surq.hdfs.file.merge.Main 参数格式： --inFileType ..........欲合并文件的类型，支持文本类型和压缩格式的gzip(.gz)文件;设为all：压缩input的下的所有文件(spark直接读入路径)。 --outFileType ........合并结果文件的类型,gz:压缩格式;txt:文本格式(除gz之外所有参数全部认为是文本格式)。 --limitFileSize .......压缩结果文件的上限大小,单位M比如：128 --input ...............欲合并文件的路径。 --output ..............合并结果的输出路径。 --ismove...............是否把生成的结果移动到输入路径（input）中，设为true时转移完成后会将output路径删除。 --isdelete.............合并成功后是否把原始数据(input下的欲合并文件)删除。 --toEmail .............报警邮件接收人地址用逗号隔开,设为none将不发送邮件。

incubator-streampark

StreamPark, Make stream processing easier! easy-to-use streaming application development framework and operation platform

leaf

Distributed ID Generate Service

mall

mall项目是一套电商系统，包括前台商城系统及后台管理系统，基于SpringBoot+MyBatis实现，采用Docker容器化部署。 前台商城系统包含首页门户、商品推荐、商品搜索、商品展示、购物车、订单流程、会员中心、客户服务、帮助中心等模块。 后台管理系统包含商品管理、订单管理、会员管理、促销管理、运营管理、内容管理、统计报表、财务管理、权限管理、设置等模块。

spark-hbase