changsongyang/hadoop_study

一起学习hadoop生态圈下常用大数据组件 已有 Flink Kafka Hbase Scala Solr ES Kerberos (项目包含hadoop思维导图 印象笔记 Scala版本简单demo 工具类 持续更新!!!)

hadoop

• hadoop科普
• 大数据书籍
• 大数据学习路线图

How Study

• 阅读官方文档
• 看大牛博客

hadoop 导图笔记

• hadoop伪分布式搭建
• hadoop介绍
• hadoop经典面试题及解题思路

hive

• 阅读官方文档
• 导图笔记
• hive必会50道sql
• hive在离线计算用的比较多,工作好找,有sql基础入门比较快
• hive开窗函数

Scala

• 阅读官方文档
• 导图笔记
• scala 工作中spark代码一般都是使用 Scala 实现 优先学!

Flink

• 总结文档
• Flink 常见QA
• Flink开发者资料
• Flink 阿里直播(每周四晚20:00-21:00))
• 不搭建环境,socket代码模拟kafka数据源 开发flink
• Flink示例代码-实时计算违反尾号限行车辆
• 真.流计算利器,但是资料比较少,建议直接看官方文档 我会将自己的翻译的文档和bug的解决方式不定期上传到Flink的对应目录下
• Flink开发满半年了 从无到有 现在日常使用flink进行简单的实时ETL和业务实时计算开发ok 不足:主要是写业务函数+简单算子,深点的东西还是没应用过(比如cep) 才刚开始

Spark

• 阅读官方文档
• 导图笔记
• Spark SQL 离线计算短板待补齐

SparkStreaming

• 阅读官方文档
• 导图笔记

Spark Structured Streaming

• 阅读官方文档
• 导图笔记

HBase(phoenix)

• 文档笔记
• phoenix 自定义UDFs函数
• 见HBase目录,不定期更新

kafka

• 阅读官方文档
• 导图笔记
• 开源的消息队列,流计算架构一定要有的一个组件

redis

• Redis命令参考
• 导图笔记

solr

• 阅读官方文档
• 导图笔记
• 全文检索 solr+kerberos验证(巨坑,文档稍后上传)
• solr 实时创建索引延迟问题 (增量3000-4000w/天)
• solr百亿规模数据优化
• 结巴分词

Eleasticsearch

• 占坑,可以直接使用dbms+es实现几千万数据可视化展示 汇总,底层跟solr一样,都是基于lucene
• ES6.1.3集群搭建(+jdk1.8.0_131)
• ES性能优化-转载
• ES代码-入库查询

MongoDB

kerberos

• 印象笔记
• 这个真恶心 人机/机机
• 2019-5-5 更新 Fusioninsigh下的所有组件互通已经调试好

springboot

• 用空还是要学一下 最近做了个springboot实现solr rest服务 套的公司应用层模板

持续更新...

• 会不定期的将在工作中接触大数据组件时做的去敏测试代码上传到对应的文件夹下供初学者参考,少走弯路 包括自己每天更新的大数据印象笔记 更新的进度和规划在issues 中
• 今年计划重心是在实时计算上Flink,下半年的规划 : sparksql或flinksql flinksql推荐使用1.7.0+
• 最新工作 : Solr出现问题(从存量50亿查当天数据,晚上查询30-50s,早上2s),50亿数据,查一天的最后一页,内存一下满了导致的(最后一页用户非得留着)
• 今天用到了jieba分词,需要自定词库+solr来获取警情的空间经纬度坐标(已实现,代码测试去敏后上传)
• es+kerberos https证书卡着了,先将DSL语法熟悉下上传
• 这两天调试spark同步hive到es程序,es是kerberos安全认证的,网上的都是http的方式访问,难受,最终使用jdbc的方式在安全模式的集群下从hive读数据到es ok 断断续续优化的flink程序 加入rebalance 导致背压,优化背压 对过车时间进行取余处理进行分流... 最终发现优化需要减操作步骤 而不是增加!! 跑了两天 离线程序白天还在跑导致CPU负载很高 实时计算程序受到影响