利用自定义的 docker 镜像,搭建 本地基于docker container的hadoop集群(为了简易搭建,牺牲了安全性,不适用于生产环境,切记!!!)
拷贝到 hd-container 目录下(利用Dockerfile制作镜像的时候要用到,注意两边的版本号一致)
wget http://apache.01link.hk/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
拷贝到 目录 build-env/
下,并解压
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz
拷贝到 目录 build-env/
下,并解压
git clone https://github.com/qinrui777/bigdata-docker.git
cd bigdata-docker
cd hd-container && docker build -t hd-container:1.X .
等待5min,修改对应 build-env/xxx-docker-compose.yml 文件中的镜像版本
node role | hostname | container IP | components role |
---|---|---|---|
master | hadoop-master1 | 172.19.0.10 | NameNode,NameNode, hive server |
slave1 | hadoop-slave1 | 172.19.0.11 | DataNode |
slave2 | hadoop-slave2 | 172.19.0.12 | NodeManager |
#mac os
cd build-env && docker-compose -p bd -f mac-docker-compose-hive.yml up -d
# windowns
cd build-env && docker-compose -p bd -f win-docker-compose-hive.yml up -d
在 master node 上执行
# 先进入 master 容器
docker exec -it bd_federation-master1_1 bash
# 定义环境变量
source /opt/script/bigdata_env.sh
# 格式化,并启动 master
hdfs namenode -format
sh /opt/script/start-components.sh master
分别在两个 slave node 上执行
# 初始化环境
source /opt/script/bigdata_env.sh
# 启动slave
sh /opt/script/start-components.sh slave
-
监控hdfs界面地址 -> http://localhost:50070
-
监控yarn任务执行状况界面地址 -> http://localhost:8088
在 master node 上执行
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chown hive:hive /user/hive
hadoop fs -chown hive:hive /user/hive/warehouse
schematool -dbType derby -initSchema
# hive 启动命令 ( 查找日志路径 find / -name hive.log )
nohup hive --service metastore &
nohup hiveserver2 &
等待hive启动,2min 后再测试以下命令
hive server2 连接测试, 在 master node 上执行
beeline -u jdbc:hive2://localhost:10000/default -n hive
交互命令行中,测试 hive
create table test(id string, name string, age int)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
insert into table test values('1','q1',33);
LOAD DATA INPATH '/tmp/test.txt' INTO TABLE test;
2/ 分区关键字 PARTITIONED BY
create table t_4(ip string,url string,staylong int)
partitioned by (day string)
row format delimited
fields terminated by ',';
导入数据到不同的分区目录:
load data local inpath '/root/weblog.1' into table t_4 partition(day='2017-04-08');
load data local inpath '/root/weblog.2' into table t_4 partition(day='2017-04-09');
cd build-env # 进入 mac-docker-compose-hive.yml 所在的目录
docker-compose -p bd -f mac-docker-compose-hive.yml down -v
善意提醒提高docker container 的内存大小,被坑了好久。
hdfs namenode -format
hdfs --daemon start namenode
hdfs --daemon start datanode
yarn --daemon start resourcemanager
yarn --daemon start nodemanager
hadoop fs -mkdir -p /user/hive/warehouse
https://mathsigit.github.io/blog_page/2017/11/16/hole-of-submitting-mr-of-hadoop300RC0/