[求助/Help] 在云联系统里面，申请了两台云主机，用来测试HA。失败。

[lonso]

[求助/Help] 在云联系统里面，申请了两台云主机，用来测试HA。失败。

[zhasm]

@lonso
ocboot 代码已经更新，更新了重启逻辑。请拉取最新代码试试？

[lonso]

我们目前用的3.10的。所以需要在3.10上测试😂

[zhasm]

3.10 的ocboot 也已经更新了~ 拉取release/3.10 的最新commit 即可~
另外，HA 建议 3 台以上的节点~（2 台不建议）

[lonso]

好的。我在试试

[lonso]

primary_master_node:
  # ssh login IP
  hostname: 10.0.105.152
  # 不使用本地登录方式
  use_local: false
  # ssh login user
  user: root
  # cloudpods version
  onecloud_version: "v3.10.0"
  # mariadb connection address
  db_host: "10.0.105.141"
  # mariadb user
  db_user: "root"
  # mariadb password
  db_password: "qwer1234"
  # mariadb port
  db_port: "3306"
  # 节点服务监听的地址，多网卡时可以指定对应网卡的地址
  node_ip: "10.0.105.152"
  # 对应 Kubernetes calico 插件默认网卡选择规则
  ip_autodetection_method: "can-reach=10.0.105.152"
  # K8s 控制节点的 IP，对应keepalived 监听的 VIP
  controlplane_host: 10.0.105.251
  # K8s 控制节点 apiserver 监听的端口
  controlplane_port: "6443"
  # 该节点作为 Cloudpods 私有云计算节点，如果不想让控制节点作为计算节点，可以设置为 false
  as_host: true
  # 虚拟机可作为 Cloudpods 内置私有云计算节点（默认为 false）。开启此项时，请确保 as_host: true
  as_host_on_vm: true
  # 产品版本，从 [Edge, CMP, FullStack] 选择一个，FullStack 会安装融合云，CMP 安装多云管理版本，Edge 安装私有云
  product_version: 'Edge'
  # 服务对应的镜像仓库，如果待部署的机器不在**大陆，可以用 dockerhub 的镜像仓库：docker.io/yunion
  image_repository: registry.cn-beijing.aliyuncs.com/yunion
  # 启用高可用模式
  high_availability: true
  # 使用 minio 作为后端虚拟机镜像存储
  enable_minio: true
    #  insecure_registries:
    # - registry.paralinker.com
  ha_using_local_registry: false
  # 计算节点默认网桥 br0 对应的网卡
  host_networks: "eth0/br0/10.0.105.152"

master_nodes:
  # 加入控制节点的 k8s vip
  controlplane_host: 10.0.105.251
  # 加入控制节点的 K8s apiserver 端口
  controlplane_port: "6443"
  # 作为 K8s 和 Cloudpods 控制节点
  as_controller: true
  # 该节点作为 Cloudpods 私有云计算节点，如果不想让控制节点作为计算节点，可以设置为 false
  as_host: true
  # 虚拟机可作为 Cloudpods 内置私有云计算节点（默认为 false）。开启此项时，请确保 as_host: true
  as_host_on_vm: true
  # 从 primary 节点同步 ntp 时间
  ntpd_server: "10.0.105.152"
  # 启用高可用模式
  high_availability: true
  # insecure_registries:
    #- registry.paralinker.com
  hosts:
  - user: root
    hostname: "10.0.105.142"
    # 计算节点默认网桥 br0 对应的网卡
    host_networks: "eth0/br0/10.0.105.142"
  - user: root
    hostname: "10.0.105.115"
    host_networks: "eth0/br0/10.0.105.115"

现在更新代码以后。提示 TASK [master-node : Use ocadm join master node] 这个了。

kubectl get nodes

能够看到 10.0.105.251 10.0.105.115 这两个node

[zhasm]

@lonso 更新代码之后，重跑，卡在「master-node : Use ocadm join master node」 步骤了对吗？

1. 可以看一下 3 个节点，是否运行了firewalld. 如果systemctl status firewalld 为active，需要systemctl disable --now firewalld。
2. 可以在 3 个节点分别检测 vip 可达性。curl -k https://<VIP>:6443 .
3. 可以reset一下集群、删除数据库，然后重跑ocboot安装流程。在 3 个节点分别执行：

kubeadm reset -f
/opt/yunion/bin/ocadm reset -f
rm -rf /etc/kubernetes/    /var/lib/etcd/     /root/.kube 
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

同时删除database里面的新创建的db。

[lonso]

OS:Ubuntu 22.04.4 LTS 没问题吧。 Unit firewalld.service could not be found. 应该没有

[zhasm]

@lonso
Ubuntu 22.04.4 LTS 没问题。（我测试过Ubuntu 22.04 LTS，没测试过 .4这个小版本。如有问题请继续跟帖。
另外更新了上面的帖子，增加了检测 vip 可达性步骤。如果卡住，可以在reset之前测试。

[lonso]

还是卡在哪里了。

TASK [master-node : show ocadm join args] **************************************
ok: [10.0.105.115] => {
    "msg": "/opt/yunion/bin/ocadm join --control-plane 10.0.105.251:6443 --token pd75t7.8r0cw5tbdtuhda9d --certificate-key 46b3a65227434cc767689d12d06052d4d2f695bd1cfa404d4039a901f8911467 --discovery-token-unsafe-skip-ca-verification --apiserver-advertise-address 10.0.105.115 --node-ip 10.0.105.115 --host-networks eth0/br0/10.0.105.115  --enable-hugepage  --as-onecloud-controller --enable-host-agent --high-availability-vip 10.0.105.251 --keepalived-version-tag v2.0.25"
}
ok: [10.0.105.142] => {
    "msg": "/opt/yunion/bin/ocadm join --control-plane 10.0.105.251:6443 --token pd75t7.8r0cw5tbdtuhda9d --certificate-key 46b3a65227434cc767689d12d06052d4d2f695bd1cfa404d4039a901f8911467 --discovery-token-unsafe-skip-ca-verification --apiserver-advertise-address 10.0.105.142 --node-ip 10.0.105.142 --host-networks eth0/br0/10.0.105.142  --enable-hugepage  --as-onecloud-controller --enable-host-agent --high-availability-vip 10.0.105.251 --keepalived-version-tag v2.0.25"
}

TASK [master-node : Wait for port 10.0.105.251:6443 to be ready] ***************
ok: [10.0.105.115]

TASK [master-node : Use ocadm join master node] ********************************

[zhasm]

• 请在 3 个节点分别检测 vip 可达性。curl -k https://10.0.105.251:6443
• 看一下3个ubuntu节点的启动 选项：cat /proc/cmdline。

[lonso]

现在安装没问题了。但是现在调整了keepalive的优先级，然后vip 从 10.0.105.152 漂移到了 10.0.105.115 ，但是pods 还在10.0.105.152上运行。10.0.105.115 上没有新的pods。这正常么

[hoganlxj]

10.0.105.152

正常，这个只是vip切换，和pods运行没有关系。如果想测试高可用，可以把其中一台节点关机，看集群是否正常运行。

[lonso]

现在这三台，我primary node 在 ha-test001上。我把这台k8s停了。会自动部署到 ha-test003 么

现在测试把 ha-test001 重启了。服务就不可用了。