k8s-nacos-sentinel-rocketmq-zipkin-elasticsearch-redis-mysql

Kubernetes(k8s)-nacos-sentinel-rocketmq-zipkin-elasticsearch-redis-mysql

统一使用默认端口

kubernetes 默认宿主机映射端口 30000-32767，有些小伙伴，没有修改 kubernetes 的默认端口，或者修改起来比较麻烦，所以这里改为把对外端口统一修改。

对外端口如下：

mariadb: 30306

elasticsearch: 30920 30930

kibana: 30601

logstash: 30621

grafana: 30300

jenkins: 30800

xxl-job: 30820

nacos: 30848

prometheus: 30909

redis: 30379

hub: 30500

rocketmq: 30876

rocketmq-ui: 30879

sentinel: 30280 30719

zipkin: 30411

k8s 开发 `单服务器` 部署

环境，与系统

系统：centos 7.6

内核： 5.1.9-1.el7.elrepo.x86_64

Kubernetes(K8s) 1.16.3

服务器IP：192.168.0.254

命令不适应 centos 8

https://www.mariadb.org/mariadb/repositories/#distro=CentOS&distro_release=centos8-amd64--centos8&mirror=exascale&version=10.4

如果想要使用请修改create.b.mariadb.start.sh中 /etc/yum.repos.d/mariadb.repo 部分如下

[mariadb]
name = MariaDB

#baseurl = http://mirrors.aliyun.com/mariadb/yum/10.4/centos7-amd64/
baseurl = http://mirrors.aliyun.com/mariadb/yum/10.4/centos8-amd64/
gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
enabled=1
gpgcheck=1

执行命令

dnf clean all && \
dnf makecache && \
dnf repolist && \
dnf -y install  MariaDB-client --disablerepo=AppStream

服务器IP 说明

如果更改了服务器IP 为其他IP，那么请全局全部替换成你改的IP

镜像策略

更改镜像策略为如果本地有镜像, 则使用本地的镜像, 本地不存在时拉取镜像

find ./ -name "*yml" -type f -exec sed -i 's/imagePullPolicy: Always/imagePullPolicy: IfNotPresent/g' {} \;

如何安装 k8s

请看最近写的一篇文章，

https://blog.csdn.net/fenglailea/article/details/88745642

常用 k8s 命令

https://foxwho.blog.csdn.net/article/details/92137467

服务器资源限制

对CPU,内存都做了限制，请自行针对修改

没有使用持久化存储，这里直接使用宿主机存储，如有需要，请自行增加

拉取代码

复制以下整个命令

# 创建目录 ，且进入该目录，拉去 代码，设置 sh 末尾 的文件为 可执行文件

mkdir -p /www/k8s/ && cd /www/k8s/  && \
git clone https://github.com/foxiswho/k8s-nacos-sentinel-rocketmq-zipkin-elasticsearch-redis-mysql.git foxdev  --depth=1 && \
cd foxdev  && \
chmod +x *sh

一键部署即开即用服务

根目录下执行

./all.start.sh

如果想全部删除

./all.stop.delete.sh

以下是独立部署相关模块

k8s rocketmq 独立部署

rocketmq 采用 server:1主,Broker:1主1从模式

带有 rocketmq-console web 简单管理界面

日志相关目录

执行命令时候，会自动创建以下7个目录，部署时候要映射 pod内部目录

/www/k8s/foxdev/rocketmq/logs/
/www/k8s/foxdev/rocketmq/logs-b/
/www/k8s/foxdev/rocketmq/logs-b-s/
/www/k8s/foxdev/rocketmq/logs-ui/

/www/k8s/foxdev/rocketmq/store/
/www/k8s/foxdev/rocketmq/store-b/
/www/k8s/foxdev/rocketmq/store-b-s/

logs: server 日志目录 logs-b: Broker(master) 日志目录 logs-b-s: Broker(slave) 日志目录 logs-ui: console 日志目录

store: server store 目录 store-b: Broker(master) store 目录 store-b-s: Broker(slave) store 目录

独立部署 rocketmq 操作

直接执行 根目录下 create.r.rocketmq.start.sh 即可

./create.r.rocketmq.start.sh

大约几分钟后，使用rocketmq或者访问浏览器http://192.168.0.254:30879,即可看到 rocketmq-console的管理界面

rocketmq console 用户名和密码

conf/users.properties 文件中

admin=admin,1

第一个admin 表示 用户名

第二个admin 表示 密码

1 表示 管理员角色

使用命令查看相关信息

kubectl get svc,pod,cs,rc

或
kubectl get svc

kubectl get pod

kubectl get cs

kubectl get rc

k8s mariadb(mysql) 数据库独立部署

采用 mariadb 最新版本

暂时没有使用主从，后期有空的时候再设置

生成容器镜像后，会自动导入nacos 数据库配置文件，

及创建数据库nacos用户和密码nacos

官方：

https://nacos.io/zh-cn/docs/what-is-nacos.html

nacos-mysql.sql 数据库文件位置

https://github.com/alibaba/nacos/blob/develop/distribution/conf/nacos-mysql.sql

独立部署 mariadb 操作

直接执行 根目录下 create.b.mariadb.start.sh 即可

./create.b.mariadb.start.sh

执行完成后，即可用数据库管理软件，进行操作数据库了

k8s nacos 独立部署

编排文件改动官方的编排的文件，去除了数据库主从备份，这里使用 mariadb 最新版数据库

所以，要先生成 mariadb 才能部署 nacos

独立部署 nacos 操作

直接执行 根目录下 create.n.nacos.start.sh 即可

./create.n.nacos.start.sh

执行完成后,访问控制台网址即可操作naocs配置了

http://192.168.0.254:30848/nacos

测试

服务注册

curl -X PUT 'http://192.168.0.254:30848/nacos/v1/ns/instance?serviceName=test.fox&ip=192.0.1.10&port=8080'

ok

服务发现

curl -X GET 'http://192.168.0.254:30848/nacos/v1/ns/instances?serviceName=test.fox'

发布配置

curl -X POST "http://192.168.0.254:30848/nacos/v1/cs/configs?dataId=test.fox&group=test&content=helloWorld"

true

在浏览器中查看配置列表，

就会发现有一个新配置,DataId 为test.fox，

Group为test的配置，

点击编辑，可以看到内容为helloWorld

获取配置

curl -X GET "http://192.168.0.254:30848/nacos/v1/cs/configs?dataId=test.fox&group=test"

helloWorld

k8s redis 独立部署

采用 redis 最新版本

官方 docker redis

https://hub.docker.com/_/redis

独立部署 redis 操作

直接执行 根目录下 create.r.redis.start.sh 即可

./create.r.redis.start.sh

执行完成后，即可用 redis 缓存了

k8s elasticsearch 独立部署

当前版本已经安装了词库,词库内的配置文件，

默认没有启用映射（默认把它给注释掉），如需要自己配置，那么只要开启映射即可。

词库

常用的词库

https://github.com/medcl/elasticsearch-analysis-ik

目录说明

elasticsearch/logs 日志目录

elasticsearch/data 数据目录

如果你有更多的插件需要加载，那么请自行配置相关目录

独立部署 elasticsearch 操作

直接执行 根目录下 create.elk.elasticsearch.start.sh 即可

./create.elk.elasticsearch.start.sh

执行完成后，即可用 elasticsearch 了

案例

创建索引

curl -XPUT http://192.168.0.254:30920/index

输出

{"acknowledged":true,"shards_acknowledged":true,"index":"index"}

创建mapping

curl -XPOST http://192.168.0.254:30920/index/_mapping -H 'Content-Type:application/json' -d'
{
        "properties": {
            "content": {
                "type": "text",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_smart"
            }
        }

}'

输出

{"acknowledged":true}

添加几条数据

curl -XPOST http://192.168.0.254:30920/index/_create/1?pretty -H 'Content-Type:application/json' -d'
{"content":"美国留给伊拉克的是个烂摊子吗"}
'

输出略

curl -XPOST http://192.168.0.254:30920/index/_create/2?pretty -H 'Content-Type:application/json' -d'
{"content":"公安部：各地校车将享最高路权"}
'

curl -XPOST http://192.168.0.254:30920/index/_create/3?pretty -H 'Content-Type:application/json' -d'
{"content":"中韩渔警冲突调查：韩警平均每天扣1艘**渔船"}
'

curl -XPOST http://192.168.0.254:30920/index/_create/4?pretty -H 'Content-Type:application/json' -d'
{"content":"**驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"}
'

curl -XPOST http://192.168.0.254:30920/index/_create/5?pretty -H 'Content-Type:application/json' -d'
{"content":"考验特朗普的时候到了！美盟友率先出手，普京紧跟2记“重拳”"}
'

查询

curl -XPOST http://192.168.0.254:30920/index/_search?pretty  -H 'Content-Type:application/json' -d'
{
    "query" : { "match" : { "content" : "**" }},
    "highlight" : {
        "pre_tags" : ["<tag1>", "<tag2>"],
        "post_tags" : ["</tag1>", "</tag2>"],
        "fields" : {
            "content" : {}
        }
    }
}
'

输出

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 0.6650044,
    "hits" : [
      {
        "_index" : "index",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 0.6650044,
        "_source" : {
          "content" : "中韩渔警冲突调查：韩警平均每天扣1艘**渔船"
        },
        "highlight" : {
          "content" : [
            "中韩渔警冲突调查：韩警平均每天扣1艘<tag1>**</tag1>渔船"
          ]
        }
      },
      {
        "_index" : "index",
        "_type" : "_doc",
        "_id" : "4",
        "_score" : 0.6308529,
        "_source" : {
          "content" : "**驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"
        },
        "highlight" : {
          "content" : [
            "<tag1>**</tag1>驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"
          ]
        }
      }
    ]
  }
}

k8s kibana 独立部署

必须先部署好 elasticsearch

官方 kibana docker 说明

https://www.elastic.co/guide/en/kibana/current/docker.html

独立部署 kibana 操作

直接执行 根目录下 create.elk.kibana.start.sh 即可

./create.elk.kibana.start.sh

访问

部署成功后就可以直接用浏览器访问了

http://192.168.0.254:30601

k8s sentinel 独立部署

独立部署 sentinel 操作

直接执行 根目录下 create.s.sentinel.start.sh 即可

./create.s.sentinel.start.sh

访问

直接用浏览器访问

http://192.168.0.254:30280

k8s zipkin 独立部署

https://github.com/openzipkin/zipkin

https://github.com/openzipkin/zipkin/tree/master/zipkin-server

使用 elasticsearch 作为数据存储

独立部署 zipkin 操作

直接执行 根目录下 create.z.zipkin.start.sh 即可

./create.z.zipkin.start.sh

访问

直接用浏览器访问

http://192.168.0.254:30411

k8s grafana 独立部署

独立部署 grafana 操作

直接执行 根目录下 create.g.grafana.start.sh 即可

./create.g.grafana.start.sh

访问

直接用浏览器访问

http://192.168.0.254:30300

k8s prometheus 独立部署

独立部署 prometheus 操作

直接执行 根目录下 create.p.prometheus.start.sh 即可

./create.p.prometheus.start.sh

访问

直接用浏览器访问

http://192.168.0.254:30909

k8s ingress nginx 独立部署

官方

https://github.com/kubernetes/ingress-nginx/blob/nginx-0.24.1/deploy/mandatory.yaml

版本： 0.24.1

独立部署 ingress nginx

直接执行 根目录下 create.i.ingress.start.sh 即可

./create.i.ingress.start.sh

查看 ingress pods

kubectl get pods --namespace=ingress-nginx  --watch

或

kubectl get pods --namespace=ingress-nginx

查看 ingress

kubectl get ingress

测试案例

默认已经安装 nginx 测试案例

在 192.168.0.254 服务器中设置 hosts

echo "192.168.0.254 test.nginx.ingress " >> /etc/hosts

查看

在 192.168.0.254 测试使用

curl http://test.nginx.ingress

在本机使用

curl -v http://192.168.0.254 -H 'host: test.nginx.ingress'

任务调度 xxl-job k8s 独立部署

http://www.xuxueli.com/xxl-job/

http://www.xuxueli.com/xxl-job/#/?id=%e3%80%8a%e5%88%86%e5%b8%83%e5%bc%8f%e4%bb%bb%e5%8a%a1%e8%b0%83%e5%ba%a6%e5%b9%b3%e5%8f%b0xxl-job%e3%80%8b

独立部署 xxl-job 操作

直接执行 根目录下 create.job.xxl-job.start.sh 即可

./create.job.xxl-job.start.sh

访问

直接用浏览器访问

http://192.168.0.254:30820/xxl-job-admin

查看 pods

kubectl get pods

k8s 安装 IngressRoute【traefik】

官方文档

https://docs.traefik.io/

https://github.com/containous/traefik/

需要高版本的 Kubernetes(k8s) IngressRoute 的自定义资源类型才能使用

这里使用的是 k8s v1.16.3 或更新版本

端口

80 ：直接使用服务器80 端口提供http 服务

5580 ： traefik UI 界面

443 未开启，未配置，如需开启，请自行配置

一键部署

./create.i.ingress.route.start.sh

命令部署

kubectl apply -f  traefik-rbac-middleware.yaml
kubectl apply -f  traefik-deployment.yaml

#以下是案例
kubectl apply -f  demo.yaml
kubectl apply -f  demo-ingress-route.yaml

查看 demo 返回信息

curl -x 192.168.0.254:80 http://your.domain.com/notls

Hostname: whoami-bd6b677dc-gkhmh
IP: 127.0.0.1
IP: 10.244.0.191
RemoteAddr: 10.244.0.190:33406
GET /notls HTTP/1.1
Host: your.domain.com
User-Agent: curl/7.64.1
Accept: */*
Accept-Encoding: gzip
X-Forwarded-For: 10.244.0.1
X-Forwarded-Host: your.domain.com
X-Forwarded-Port: 80
X-Forwarded-Proto: http
X-Forwarded-Server: traefik-74dfb956c5-2zdl2
X-Real-Ip: 10.244.0.1

UI 界面

浏览器访问

http://192.168.0.254:5580

如图

wss434631143 / k8s-nacos-sentinel-rocketmq-zipkin-elasticsearch-redis-mysql Goto Github PK