heibaiying/bigdata-notes

大数据入门指南 :star:

BigData-Notes

大数据入门指南

Hadoop	Hive	Spark	Storm	Flink	HBase	Kafka	Zookeeper	Flume	Sqoop	Azkaban	Scala

如果需要离线阅读，可以在公众号上发送 “bigdata” 获取《大数据入门指南》离线阅读版！

✒️ 前 言

1. 大数据学习路线
2. 大数据技术栈思维导图
3. 大数据常用软件安装指南

一、Hadoop

1. 分布式文件存储系统 —— HDFS
2. 分布式计算框架 —— MapReduce
3. 集群资源管理器 —— YARN
4. Hadoop 单机伪集群环境搭建
5. Hadoop 集群环境搭建
6. HDFS 常用 Shell 命令
7. HDFS Java API 的使用
8. 基于 Zookeeper 搭建 Hadoop 高可用集群

二、Hive

1. Hive 简介及核心概念
2. Linux 环境下 Hive 的安装部署
3. Hive CLI 和 Beeline 命令行的基本使用
4. Hive 常用 DDL 操作
5. Hive 分区表和分桶表
6. Hive 视图和索引
7. Hive 常用 DML 操作
8. Hive 数据查询详解

三、Spark

Spark Core :

1. Spark 简介
2. Spark 开发环境搭建
3. 弹性式数据集 RDD
4. RDD 常用算子详解
5. Spark 运行模式与作业提交
6. Spark 累加器与广播变量
7. 基于 Zookeeper 搭建 Spark 高可用集群

Spark SQL :

1. DateFrame 和 DataSet
2. Structured API 的基本使用
3. Spark SQL 外部数据源
4. Spark SQL 常用聚合函数
5. Spark SQL JOIN 操作

Spark Streaming ：

1. Spark Streaming 简介
2. Spark Streaming 基本操作
3. Spark Streaming 整合 Flume
4. Spark Streaming 整合 Kafka

四、Storm

1. Storm 和流处理简介
2. Storm 核心概念详解
3. Storm 单机环境搭建
4. Storm 集群环境搭建
5. Storm 编程模型详解
6. Storm 项目三种打包方式对比分析
7. Storm 集成 Redis 详解
8. Storm 集成 HDFS/HBase
9. Storm 集成 Kafka

五、Flink

1. Flink 核心概念综述
2. Flink 开发环境搭建
3. Flink Data Source
4. Flink Data Transformation
5. Flink Data Sink
6. Flink 窗口模型
7. Flink 状态管理与检查点机制
8. Flink Standalone 集群部署

六、HBase

1. Hbase 简介
2. HBase 系统架构及数据结构
3. HBase 基本环境搭建 (Standalone /pseudo-distributed mode)
4. HBase 集群环境搭建
5. HBase 常用 Shell 命令
6. HBase Java API
7. HBase 过滤器详解
8. HBase 协处理器详解
9. HBase 容灾与备份
10. HBase的 SQL 中间层 —— Phoenix
11. Spring/Spring Boot 整合 Mybatis + Phoenix

七、Kafka

1. Kafka 简介
2. 基于 Zookeeper 搭建 Kafka 高可用集群
3. Kafka 生产者详解
4. Kafka 消费者详解
5. 深入理解 Kafka 副本机制

八、Zookeeper

1. Zookeeper 简介及核心概念
2. Zookeeper 单机环境和集群环境搭建
3. Zookeeper 常用 Shell 命令
4. Zookeeper Java 客户端 —— Apache Curator
5. Zookeeper ACL 权限控制

九、Flume

1. Flume 简介及基本使用
2. Linux 环境下 Flume 的安装部署
3. Flume 整合 Kafka

十、Sqoop

1. Sqoop 简介与安装
2. Sqoop 的基本使用

十一、Azkaban

1. Azkaban 简介
2. Azkaban3.x 编译及部署
3. Azkaban Flow 1.0 的使用
4. Azkaban Flow 2.0 的使用

十二、Scala

1. Scala 简介及开发环境配置
2. 基本数据类型和运算符
3. 流程控制语句
4. 数组 —— Array
5. 集合类型综述
6. 常用集合类型之 —— List & Set
7. 常用集合类型之 —— Map & Tuple
8. 类和对象
9. 继承和特质
10. 函数 & 闭包 & 柯里化
11. 模式匹配
12. 类型参数
13. 隐式转换和隐式参数

十三、公共内容

1. 大数据应用常用打包方式

📑 后 记

资料分享与开发工具推荐

欢迎关注我的博客：https://blog.csdn.net/m0_37809146

bigdata-notes's Issues

"集群资源管理器 —— YARN"这一节貌似有个拼写错误

应该是Container叭

博主整理的很赞

最近刚慢慢转向大数据运维，感文章整理的很赞

cdh5 的所有软件都官网下载不到了

cdh5 的所有软件都官网下载不到了，老哥，能麻烦提供一下吗？

启动报错

• [ ]
  
  
  
  
  
  
  按照配置好的，然后启动就报错，本人初学Hadoop，大佬指正一下！谢谢

bigdata

希望作者建一个交流群，以供大家一起学习

希望作者建一个交流群，以供大家一起学习

大数据学习路线中的日志收集框架的疑问

kibana不算是日志收集，应该算是可视化平台，日志收集框架可以再加一个filebeat

把笔记链接改成相对路径是不是好点呢, 现在下载到本地的阅读体验不太好

图片好像挂了

如题，gitee是正常的

关于hadoop集群搭建，需要设置公钥的权限

公钥的位置需要设置权限，不然免密登录有问题

sudo chmod 600 ~/.ssh/authorized_keys
sudo chmod 700 ~/.ssh

很好奇，大数据相关组件的监控怎么弄

能更新些关于hadoop平台的监控和运维吗

分布式计算框架--MapReduce 中错误内容

WordCountMapper 继承自 Mappe 类，这是一个泛型类，定义如下

WordCountMapper 继承自Mapper类，这是一个泛型类，定义如下

Flink架构图 有问题， 应该是TaskManager

对spark-submit上传jar的疑问

在Spark部署模式与作业提交.md一文中提到的：

需要注意的是：在集群环境下，application-jar 必须能被集群中所有节点都能访问，可以是 HDFS 上的路径；也可以是本地文件系统路> 径，如果是本地文件系统路径，则要求集群中每一个机器节点上的相同路径都存在该 Jar 包。

如果application-jar指定的是本地文件系统路径，那么spark会不会自动分发jar到每一台机器上。我在跑spark任务的时候，都是把jar上传到一台机器上就可以跑了，所以看到这里不免疑问。

大数据学习路线图片疑似有误

怎么有两个数据存储？

Scala第四节数组 六 与Java互操作API过时

JavaConverters.bufferAsJavaList过时

Pictures missing

Kibana也是数据采集工具吗

前置的一个文档中，kibana。请问这个也是数据采集的工具吗？

现在有很多新的组件了

现在有很多新的组件了

大数据

申请一起完善项目

申请一起完善项目，求博主微信

大佬还会继续更新吗 比如doris/clickhouse等

学习了，收录这个项目到我的flink-notes里面

学习了，收录这个项目到我的flink-notes里面了
https://github.com/pierre94/flink-notes

zookeeper集群启动命令勘误

/usr/app/zookeeper-cluster/zookeeper/bin/zkServer.sh start

/usr/app/zookeeper-3.4.14/bin/zkServer.sh start

HBase集群环境搭建-文中部分路径错误修改

/etc/profile

export HBASE_CLASSPATH=usr/app/hadoop-2.6.0-cdh5.15.2/etc/hadoop

export HBASE_CLASSPATH=/usr/app/hadoop-2.6.0-cdh5.15.2/etc/hadoop

hbase-env.sh

export HBASE_CLASSPATH=usr/app/hadoop-2.6.0-cdh5.15.2/etc/hadoop

export HBASE_CLASSPATH=/usr/app/hadoop-2.6.0-cdh5.15.2/etc/hadoop

组件下载

为什么那个hadoop的CDH版本不再拥有下载权限了？

git clone 后无法直接构建工程

有没有构建文档 ？
还是hub上的代码无法在本地搭建吗 ？

h

请问phoenix + mybatis 怎么去批量操作呢,例如批量插入

文章中存在单词笔误 ： BigData-Notes/notes/Flume简介及基本使用.md

文档中部分Event写成了Evnet

基于Zookeeper搭建Kafka高可用集群

基于Zookeeper搭建Kafka高可用集群，start 报错，

Flink核心概念综述.md 的图有问题

四、Flink 集群架构
4.1 核心组件 的任务提交流程图中最右边的应该是TaskManager
如下图

图片都看不见了呀

都加载不了

有推荐的课程学习吗

之前学习过java后端，想学习下java大数据，想问下有相应的课程学习吗

HA use QJM 中 resourcemanager第三台机子需要单独启动dm的问题

yarn.resourcemanager.hostname [hadoop002],[hadoop003]

大数据

题

请教下，有mac环境安装各个组件的详细流程不

如题，感觉环境安装这个部分写的比较散，没有一个从上到下的组织方式，比如virtualbox怎么使用去配合等，希望楼主可以详细写下。

📚 零难度上手！稳定快速的科学上网解锁

科学上网/翻墙梯子 ChatGPT可用机场

【超值推荐】2023年必备神器，主用机场之一。WgetCloud机场，多线BGP中转+双程CN2高品质线路，不怕高峰期不稳定。这家机场在香港还有自己的机房，超安心。而且，WgetCloud的运营人员在机场行业打拼已有5年，技术可靠无需担心。团队成员还都在海外哦，安全性满分！

【最新技术】WgetCloud机场使用Shadowsocks协议，最近还新增了SSR、V2ray、Trojan协议的支持，各大平台软件对SS协议支持都超友好。同时，支持所有主流的代理订阅格式——Clash、Shadowrocket、Quantumult X、Surge 4。机场还用分组制管理线路节点，单组用户人数满400后就不再增加人数，再加上动态限速，线路稳定到家。

通过下面链接注册新用户全员无门槛8折优惠券：

WgetCloud官网链接

以下为晚高峰测速：

图片加载不出来

现文章中的图片无法加载

zookeeper集群搭建时，zoo.cfg文件的不同点描述有误

除了dataLogDir 和dataDir 不同，还有clientPort也不同

基于Zookeeper搭建Kafka高可用集群

基于Zookeeper搭建Kafka高可用集群，start 报错， Client port found: 2181. Client address: localhost. Error contacting service. It is probably not running. 可能的原因之一是版本是要下载***-bin.tar.gz 。

实时分析有什么指导吗？