在离线的arm架构kylin v10服务器上使用Kuboard-Spray搭建K8S集群

在离线的arm架构kylin v10服务器上使用Kuboard-Spray搭建K8S集群

在内网项目中需要安装K8S集群，经过调研，选择使用Kuboard-Spray工具搭建K8S集群，降低学习成本，提高安装效率。

为了简化安装使用集群的过程，搭建了私有yum源仓库和harbor私有镜像仓库。

详细参考文章：
本地yum源仓库搭建

Harbor镜像仓库的安装和使用

1 安装环境

CPU： 飞腾 arm64，即aarch64
系统：Kylin v10 sp2

查看服务器信息

# 查看CPU架构 uname -p  # 查看系统信息 cat /etc/os-release  # 查看 Linux 内核版本（3.10以上） uname -a  # 查看 iptables 版本（1.4以上） iptables --version 

2 服务器规划

三台虚拟机，一台安装Kuboard-Spray，两台安装K8S（一个主节点，一个工作节点）

注意！
Kuboard-Spray平台不能安装在集群相关的服务器上，因为使用

IP	hostname	用途
192.168.16.101	k8s-master	k8s集群master节点
192.168.16.102	k8s-node-1	k8s集群工作节点1
192.168.16.103	kuboard-spray	安装kuboard-spray，用于快速安装k8s集群

在飞腾arm架构的kylin v10服务器上安装虚拟机可以参考：https://blog.csdn.net/weixin_43128854/article/details/136504354

3 安装过程

安装过程：
1 给各个服务器设置hostname
2 在准备安装Kuboard-Spray的服务器（这里是192.168.16.103）上离线安装docker
3 离线安装Kuboard-Spray
4 使用Kuboard-Spray离线安装K8S

3.1 服务器初始化配置

3.1.1 设置服务器hostname

设置各个服务器的hostname，便于识别
#根据集群规划，各节点设置对应的主机名

hostnamectl set-hostname k8s-master    #192.168.16.101 hostnamectl set-hostname k8s-node1     #192.168.16.102 hostnamectl set-hostname kuboard-spray     #192.168.16.103 

3.1.2 禁用iptables和firewalld

systemctl stop firewalld   systemctl disable firewalld   systemctl stop iptables   systemctl disable iptables 

3.1.3 禁用selinux（linux下的一个安全服务，必须禁用）

vim /etc/selinux/config   SELINUX=disabled  

3.1.3 禁用swap分区

方法一（在kylin sp2系统 验证无效，可以直接看方法二）

参考网上的文章，使用如下命令禁用swap分区，但是重启后又出现了

# 查看分区信息 free -m # 禁用所有的swap分区 -临时 sudo swapoff -a # 禁用swap分区 -永久 sed -ri 's/.*swap.*/#&/' /etc/fstab swapoff -a && sysctl -w vm.swappiness=0 

或者直接注释掉/etc/fstab中关于swap的那一行，但是kylin sp2中没有这一行，这行上述的命令也是强行加上这一行增加注释，不起作用。在CentOS中测试该方法是可以的。

方法二

可以使用删除分区的方法，删除swap分区

1 查看磁盘分区fdisk -l,找到swap分区的设备名称为/dev/vda3

2 执行fdisk /dev/vda命令，进入到分区操作工具命令行，其中/dev/vda是我们要删除的分区所在的磁盘名称。

3 根据帮助信息提示输入d，删除分区。

4 根据提示输入分区号，/dev/vda3的分区号是3，输入3之后提示分区3已删除

5 输入w，保存并退出fdisk。

3.1.4 重启服务器

重启服务器，使之前的服务器配置生效

reboot 

查看内存信息，可以看到swap都显示为0，说明swap分区删除成功。

3.2 安装docker

实际上，为了方便下载需要用到的docker镜像，还额外准备了一台可以访问公网的服务器192.168.16.104
需要在192.168.16.103和192.168.16.104上分别安装docker

参考文章
银河麒麟操作系统 v10 中离线安装 Docker

离线部署docker与镜像

下载安装包并解压

安装包下载地址

tar xzvf docker-20.10.6.tgz 

将解压包下的文件都复制到/usr/bin/下

mv docker/* /usr/bin/ 

添加docker.service文件

vim /usr/lib/systemd/system/docker.service 

[Unit] Description=Docker Application Container Engine Documentation=https://docs.docker.com After=network-online.target firewalld.service Wants=network-online.target  [Service] Type=notify ExecStart=/usr/bin/dockerd ExecReload=/bin/kill -s HUP $MAINPID LimitNOFILE=infinity LimitNPROC=infinity TimeoutStartSec=0 Delegate=yes KillMode=process Restart=on-failure StartLimitBurst=3 StartLimitInterval=60s  [Install] WantedBy=multi-user.target  

添加docker的配置文件

配置国内镜像源（公网环境192.168.16.104需要配置，内网192.168.16.103可以不配置）

vim /etc/docker/daemon.json 

{   "registry-mirrors": ["https://registry.docker-cn.com"],   "exec-opts": ["native.cgroupdriver=systemd"] } 

更新配置

systemctl daemon-reload 

运行docker服务并设置为开机自启

systemctl start docker 

systemctl enable docker 

3.3 安装Kuboard-Spray

实际上，在离线环境后续使用集群拉取镜像部署容器服务，还是需要配置私有镜像仓库。如果是已经搭建私有镜像仓库，并且已经在私有镜像仓库中上传Kuboard-Spray镜像，可以直接使用docker run 命令快速进行安装。只不过，不管用什么方式，总要从公网下载镜像，保存镜像文件，导入到内网使用。

下载镜像

在公网服务器192.168.16.104上下载名为eipwork/kuboard-spray的镜像，版本为：v1.2.0-arm64或者latest-amd64

docker pull eipwork/kuboard-spray:v1.2.0-arm64 

保存镜像到压缩文件

docker save eipwork/kuboard-spray:v1.2.0-arm64 -o kuboard-spray1.2.0.tar 

镜像复制到目标服务器并导入到docker中

使用内网服务器从192.168.16.104将/root/kuboard-spray1.2.0.tar下载到本地目录

scp root@192.168.16.104:/root/kuboard-spray1.2.0.tar /root/docker/images/ 

将镜像导入到docker中

docker load -i kuboard-spray1.2.0.tar 

运行镜像

根据镜像ID运行容器

docker run -d \   --privileged \   --restart=unless-stopped \   --name=kuboard-spray \   -p 80:80/tcp \   -v /var/run/docker.sock:/var/run/docker.sock \   -v ~/kuboard-spray-data:/data \   825da82f6df6 

持久化
KuboardSpray 的信息保存在容器的 /data 路径，请将其映射到一个您认为安全的地方，上面的命令中，将其映射到了 ~/kuboard-spray-data 路径；
只要此路径的内容不受损坏，重启、升级、重新安装 Kuboard-Spray，或者将数据及 Kuboard-Spray 迁移到另外一台机器上，您都可以找回到原来的信息。

容器运行成功后，即可在浏览器中访问http://192.168.16.103,登录使用Kuboard-Spray。
默认用户名：admin，密码：Kuboard123。

默认端口80访问不通的异常解决（虚拟机安装配置的问题，一般不会遇到这个问题）

运行容器后，访问不通，ping 80端口不通

发现运行容器的时候警告WARNING: IPv4 forwarding is disabled. Networking will not work.

IPv4转发已禁用。网络是行不通的。是因为IPv4转发被禁用了，只需要开启就可以了。

开启转发配置

编辑/etc/sysctl.conf文件

vim /etc/sysctl.conf 

修改net.ipv4.ip_forward=1

#配置转发 net.ipv4.ip_forward=1 

重启网络服务

systemctl restart network 

重启网络服务的时候提示，未找到network.service：Failed to restart network.service: Unit network.service not found.

使用

需要安装network-scripts，使用yum install network-scripts安装即可

重启网络服务后，运行容器即可

docker start <CONTAINER ID> 

3.4 使用Kuboard-Spray平台安装K8S集群

注意！！！
由于是离线安装，Kuboard-Spray需要配置私有yum源

注意！！！
如果使用docker作为容器引擎，还需要配置私有docker-ce的yum源。
例如在CentOS系统中部署，使用docker作为容器引擎，就需要配置私有的docker-ce的yum源。
但是Kuboard-Spray不支持kylin server的系统使用docker作为容器引擎，只能使用Containerd，因此在kylin系统中部署不需要配置私有docker-ce的yum源。

3.4.1 导入集群安装资源包到Kuboard-Spray平台

在系统设置->资源包管理模块可以根据自己的需要选择合适版本的资源包导入到Kuboard-Spray环境中，但是在离线环境中，该页面无法获取到资源包信息列表，只能点击右上角的离线加载资源包
按钮，访问官方的资源包下载页面https://www.kuboard-spray.cn/support/。

在可以访问公网的机器上用浏览器打开该网页https://www.kuboard-spray.cn/support/,选择合适的资源包，点击离线导入按钮，根据提示导入资源包。

因为想用docker作为容器引擎去使用，因此选择了支持docker的最新版本：spray-v2.18.0b-2_k8s-v1.23.17_v1.24-arm64，以便在非kylin操作系统中使用docker作为容器引擎。

具体操作过程为

1 下载镜像并保存文件

在安装docker的公网服务器上下载资源镜像

# 1. 在一台可以联网的机器上执行 docker pull registry.cn-shanghai.aliyuncs.com/kuboard-spray/kuboard-spray-resource:spray-v2.18.0b-2_k8s-v1.23.17_v1.24-arm64 docker save registry.cn-shanghai.aliyuncs.com/kuboard-spray/kuboard-spray-resource:spray-v2.18.0b-2_k8s-v1.23.17_v1.24-arm64 > kuboard-spray-resource.tar  

2 复制到内网服务器

# 2. 将 kuboard-spray-resource.tar 复制到 kuboard-spray 所在的服务器（例如：10.99.0.11 的 /root/kuboard-spray-resource.tar） scp ./kuboard-spray-resource.tar root@192.168.16.103:/root/kuboard-spray-resource.tar 

4 镜像文件导入到docker中

# 3. 在 kuboard-spray 所在的服务器上执行，（例如：192.168.16.103） docker load < /root/kuboard-spray-resource.tar 

5 导入到Kuboard-Spray中

复制下面的 YAML 内容到粘贴板；
在 Kuboard-Spray 界面中导航到 “系统设置” --> “资源包管理” 菜单，点击 “离线加载资源包”，按界面提示操作，即可完成资源包的离线导入。

加载离线资源包完成后，关掉日志输出页面即可

downloadFrom: registry.cn-shanghai.aliyuncs.com/kuboard-spray/kuboard-spray-resource metadata:   version: spray-v2.18.0b-2_k8s-v1.23.17_v1.24-arm64   type: kubernetes-offline-resource   kuboard_spray_version:     min: v1.1.0   available_at:     - registry.cn-shanghai.aliyuncs.com/kuboard-spray/kuboard-spray-resource     - swr.cn-east-2.myhuaweicloud.com/kuboard/kuboard-spray-resource     - eipwork/kuboard-spray-resource   issue_date: 2023-3-25   owner: shaohq@foxmail.com   can_upgrade_from:     include:       - 'spray-v2.18.0b-1_k8s-v1.23.1[0-6]_v[0-9.]*-arm64'       - 'spray-v2.18.0a-[8-9]_k8s-v1.23.1[0-5]_v[0-9.]*-arm64'       - 'spray-v2.18.[0-9a-]*_k8s-v1.23.[1-9]_v[0-9.]*-arm64'       - 'spray-master-8d9ed01_k8s-v1.23.[1-3]_v[0-9.]*-arm64'     exclude: null   can_replace_to: null   supported_os:     - distribution: Ubuntu       versions:         - '20.04'     - distribution: Anolis       versions:         - '8.4'         - '8.5'         - '8.6'     - distribution: CentOS       versions:         - '7.6'         - '7.8'         - '7.9'         - '8'     - distribution: RedHat       versions:         - '7.9'         - '8.5'     - distribution: OracleLinux       versions:         - '8.5'     - distribution: Rocky       versions:         - '8.5'     - distribution: openEuler       versions:         - '20.03'         - '22.03'     - distribution: Kylin Linux Advanced Server       versions:         - V10     - distribution: openSUSE Leap       versions:         - '15.3'   supported_feature:     eviction_hard: true data:   kubespray_version: v2.18.0b-2   supported_playbooks:     install_cluster: pb_cluster.yaml     remove_node: pb_remove_node.yaml     add_node: pb_scale.yaml     sync_nginx_config: pb_sync_nginx_config.yaml     sync_etcd_address: pb_sync_etcd_address.yaml     install_addon: pb_install_addon.yaml     remove_addon: pb_remove_addon.yaml     cluster_version_containerd: pb_cluster_version_containerd.yaml     cluster_version_docker: pb_cluster_version_docker.yaml     upgrade_cluster: pb_upgrade_cluster.yaml     drain_node: pb_drain_node.yaml     uncordon_node: pb_uncordon_node.yaml     cis_scan: true     renew_cert: pb_renew_cert.yaml     sync_container_engine_params: pb_sync_container_engine_params.yaml     backup_etcd: pb_backup_etcd.yaml     restore_etcd: pb_restore_etcd.yaml   kubernetes:     kube_version: v1.23.17     image_arch: arm64     gcr_image_repo: gcr.io     kube_image_repo: k8s.gcr.io     candidate_admission_plugins: >-       AlwaysAdmit,AlwaysDeny,CertificateApproval,CertificateSigning,CertificateSubjectRestriction,DefaultIngressClass,DefaultStorageClass,DefaultTolerationSeconds,DenyServiceExternalIPs,EventRateLimit,ExtendedResourceToleration,ImagePolicyWebhook,LimitPodHardAntiAffinityTopology,LimitRanger,MutatingAdmissionWebhook,NamespaceAutoProvision,NamespaceExists,NamespaceLifecycle,NodeRestriction,OwnerReferencesPermissionEnforcement,PersistentVolumeClaimResize,PersistentVolumeLabel,PodNodeSelector,PodSecurity,PodTolerationRestriction,Priority,ResourceQuota,RuntimeClass,SecurityContextDeny,ServiceAccount,StorageObjectInUseProtection,TaintNodesByCondition,ValidatingAdmissionWebhook     default_enabled_admission_plugins: >-       CertificateApproval,CertificateSigning,CertificateSubjectRestriction,DefaultIngressClass,DefaultStorageClass,DefaultTolerationSeconds,LimitRanger,MutatingAdmissionWebhook,NamespaceLifecycle,PersistentVolumeClaimResize,Priority,ResourceQuota,RuntimeClass,ServiceAccount,StorageObjectInUseProtection,TaintNodesByCondition,ValidatingAdmissionWebhook   container_engine:     - container_manager: containerd       params:         containerd_version: 1.6.15     - container_manager: docker       params:         docker_version: '20.10'         docker_containerd_version: 1.6.18   vars:     target:       containerd_version: 1.6.15       etcd_version: v3.5.6       calico_version: v3.21.5       flannel_cni_version: v1.0.1       kuboard_version: v3.5.2.3       kubelet_checksums:         arm64:           v1.23.17: 95e25ee4d2f34f628ba42685c6ae1ba6efdf86f2e76b5cceb0b48de4d66522a7         amd64:           v1.23.17: 588dde06e2515601380787cb5fcb07ae3d3403130e1a5556b013b7b7fb4ab230       kubectl_checksums:         arm64:           v1.23.17: c4a48fdc6038beacbc5de3e4cf6c23639b643e76656aabe2b7798d3898ec7f05         amd64:           v1.23.17: f09f7338b5a677f17a9443796c648d2b80feaec9d6a094ab79a77c8a01fde941       kubeadm_checksums:         arm64:           v1.23.17: cf1bca6b464f30ea078a9cf4d902033fb80527b03c2f39409e19fb8b3886c75e         amd64:           v1.23.17: 6d3f732fe1eabd91c98ff0ee66c6c8b4fcbdee9e99c2c8606f0fa5ff57b4ea65       crun_checksums:         arm64:           1.4.4: 2ad2c02ec0b1566f1c5e85223b726b704904cc75c2eb4af298e95b98fe5c166d         amd64:           1.4.4: 73f7f89a98f69c0bf0e9fe1e0129201d5b72529785b4b1bcb4d43c31d0c3a8ea       runc_checksums:         arm64:           v1.1.1: 20c436a736547309371c7ac2a335f5fe5a42b450120e497d09c8dc3902c28444         amd64:           v1.1.1: 5798c85d2c8b6942247ab8d6830ef362924cd72a8e236e77430c3ab1be15f080       containerd_archive_checksums:         arm64:           1.6.15: d63e4d27c51e33cd10f8b5621c559f09ece8a65fec66d80551b36cac9e61a07d         amd64:           1.6.15: 191bb4f6e4afc237efc5c85b5866b6fdfed731bde12cceaa6017a9c7f8aeda02       nerdctl_archive_checksums:         arm64:           1.0.0: 27622c9d95efe6d807d5f3770d24ddd71719c6ae18f76b5fc89663a51bcd6208         amd64:           1.0.0: 3e993d714e6b88d1803a58d9ff5a00d121f0544c35efed3a3789e19d6ab36964       etcd_binary_checksums:         arm64:           v3.5.6: 888e25c9c94702ac1254c7655709b44bb3711ebaabd3cb05439f3dd1f2b51a87         amd64:           v3.5.6: 4db32e3bc06dd0999e2171f76a87c1cffed8369475ec7aa7abee9023635670fb       cni_binary_checksums:         arm64:           v1.1.1: 16484966a46b4692028ba32d16afd994e079dc2cc63fbc2191d7bfaf5e11f3dd         amd64:           v1.1.1: b275772da4026d2161bf8a8b41ed4786754c8a93ebfb6564006d5da7f23831e5       flannel_cni_binary_checksums:         arm64:           v1.0.1: f813ae49b7b84eb95db73f7a3c34d2ee101f8cfc27e3a8054297a36d53308543         amd64:           v1.0.1: 63906a5b7dc78fbf1fbd484adbf4931aea5b15546ece3c7202c779ab9ea994a2       flannel_image_repo: '{{ docker_image_repo }}/flannelcni/flannel'       flannel_image_tag: '{{ flannel_version }}-{{ image_arch }}'       flannel_init_image_repo: '{{ docker_image_repo }}/flannelcni/flannel-cni-plugin'       flannel_init_image_tag: '{{ flannel_cni_version }}-{{ image_arch }}'       calicoctl_download_url: >-         https://github.com/projectcalico/calico/releases/download/{{         calico_ctl_version }}/calicoctl-linux-{{ image_arch }}       calicoctl_binary_checksums:         amd64:           v3.23.1: e8fd04d776df5571917512560800bf77f3cdf36ca864c9cae966cb74d62ba4fe           v3.22.3: a9e5f6bad4ad8c543f6bdcd21d3665cdd23edc780860d8e52a87881a7b3e203c           v3.21.5: 98407b1c608fec0896004767c72cd4b6cf939976d67d3eca121f1f02137c92a7         arm64:           v3.23.1: 30f7e118c21ecba445b4fbb27f7ac8bc0d1525ab3c776641433e3b1a3388c65b           v3.22.3: 3a3e70828c020efd911181102d21cb4390b7b68669898bd40c0c69b64d11bb63           v3.21.5: cc73e2b8f5b695b6ab06e7856cd516c1e9ec3e903abb510ef465ca6b530e18e6       calico_crds_archive_checksums:         v3.23.1: a1754ae4bb158e3b46ba3fb326d8038d54cd0dc2c5c8527eadf2b0a6cf8ef2e3         v3.22.3: 55ece01da00f82c62619b82b6bfd6442a021acc6fd915a753735e6ebceabaa21         v3.21.5: ffbbaa2bc32b01bf160828d2cfd4504d83c69cb1f74c0028349181ed61bad635       krew_archive_checksums:         linux:           arm64:             v0.4.3: 0994923848882ad0d4825d5af1dc227687a10a02688f785709b03549dd34d71d           amd64:             v0.4.3: 5df32eaa0e888a2566439c4ccb2ef3a3e6e89522f2f2126030171e2585585e4f       crictl_checksums:         arm64:           v1.24.0: b6fe172738dfa68ca4c71ade53574e859bf61a3e34d21b305587b1ad4ab28d24         amd64:           v1.24.0: 3df4a4306e0554aea4fdc26ecef9eea29a58c8460bebfaca3405799787609880       snapshot_controller_image_tag: v4.2.1       dns_min_replicas: '{{ [ 2, groups[''kube_control_plane''] | length ] | min }}'       kuboardspray_extra_downloads:         kuboard:           container: true           file: false           enabled: '{{ kuboard_enabled }}'           version: '{{ kuboard_version }}'           repo: eipwork/kuboard           tag: '{{ kuboard_version }}'           sha256: ''           groups:             - kube_control_plane         netcheck_etcd:           container: true           file: false           enabled: '{{ deploy_netchecker }}'           version: '{{ netcheck_etcd_image_tag }}'           dest: >-             {{ local_release_dir }}/etcd-{{ netcheck_etcd_image_tag }}-linux-{{             image_arch }}.tar.gz           repo: '{{ etcd_image_repo }}'           tag: '{{ netcheck_etcd_image_tag }}'           sha256: '{{ etcd_digest_checksum|d(None) }}'           unarchive: false           owner: root           mode: '0755'           groups:             - k8s_cluster         coredns:           enabled: '{{ dns_mode in [''coredns'', ''coredns_dual''] }}'           container: true           repo: '{{ coredns_image_repo }}'           tag: '{{ coredns_image_tag }}'           sha256: '{{ coredns_digest_checksum|default(None) }}'           groups:             - k8s_cluster   etcd:     etcd_version: v3.5.6     etcd_params: null     etcd_deployment_type:       - host       - docker   dependency:     - name: crun       version: 1.4.4       target: crun_version     - name: krew       version: v0.4.3       target: krew_version     - name: runc       version: v1.1.1       target: runc_version     - name: cni-plugins       version: v1.1.1       target: cni_version     - name: crictl       version: v1.24.0       target: crictl_version     - name: nerdctl       version: 1.0.0       target: nerdctl_version     - name: nginx_image       version: 1.21.4       target: nginx_image_tag     - name: coredns       target: coredns_version       version: v1.8.6     - name: cluster-proportional-autoscaler       target: dnsautoscaler_version       version: 1.8.5     - name: pause       target: pod_infra_version       version: '3.6'   network_plugin:     - name: calico       params:         calico_version: v3.21.5     - name: flannel       params:         flannel_version: v0.17.0         flannel_cni_version: v1.0.1   addon:     - name: kuboard       target: kuboard_enabled       lifecycle:         install_by_default: true         check:           shell: kubectl get pods -n kuboard -l k8s.kuboard.cn/name=kuboard-v3           keyword: kuboard-v3         install_addon_tags:           - download           - upgrade           - kuboard         remove_addon_tags:           - upgrade           - kuboard         downloads:           - kuboard       params_default:         kuboard_version: v3.5.2.3         kuboard_port: 80         kuboard_cluster_name: default         kuboard_data_dir: /root/kuboard-data       params: null     - name: nodelocaldns       target: enable_nodelocaldns       lifecycle:         install_by_default: true         check:           shell: kubectl get daemonset -n kube-system nodelocaldns -o json           keyword: '"k8s-app": "kube-dns"'         install_addon_tags:           - download           - upgrade           - coredns           - nodelocaldns         downloads:           - nodelocaldns           - coredns       params:         nodelocaldns_version: 1.21.1         enable_nodelocaldns_secondary: false     - name: metrics_server       target: metrics_server_enabled       lifecycle:         install_by_default: true         check:           shell: kubectl get deployments -n kube-system metrics-server -o json           keyword: k8s.gcr.io/metrics-server/metrics-server         install_addon_tags:           - download           - upgrade           - metrics_server         remove_addon_tags:           - upgrade           - metrics_server         downloads:           - metrics_server       params:         metrics_server_version: v0.6.2  

3.4.2 创建集群

1 添加集群安装计划

在Kuboard Spray的集群管理菜单中点击添加集群安装计划按钮，填写集群名称，选择资源包，点击确定

2 配置集群的全局设置

• SSH设置中，设置所有K8S节点服务器的SSH连接用户名和密码，必须使用root用户。
• 容器引擎设置中，设置所有节点使用的容器引擎，在kylin系统中只能选择containerd_1.6.15
• 软件源设置中，选择操作系统为Kylin Linux Advanced Server，选择kylin_linux_advanced_server 源默认设置为默认的使用操作系统预先配置的软件源
  
  

注意！！！
实际上本来应该添加软件源配置，根据需要选择软件源，但是Kuboard-Spray平台目前不支持kylin系统的软件源设置，只能选择系统默认软件源，去各个节点中配置默认的软件源为我们的私有yum软件源。

在集群的各个节点的服务器中，修改/etc/yum.repos.d/kylin_aarch64.repo文件，配置私有yum源地址，启用该配置，设置不检查文件。

vim /etc/yum.repos.d/kylin_aarch64.repo 

###Kylin Linux Advanced Server 10 - os repo###  [ks10-adv-base] name = ks10-adv-base baseurl = http://192.168.16.106/ks10-adv-base/ enabled = 1 gpgcheck = 0 

执行命令可以查看配置的yum源是否生效，清理并重新建立yum缓存

# 查看yum源配置 yum repolist # 清理缓存 yum clean all # 创建缓存 yum makecache 

全局配置和所有节点的系统默认yum软件源修改完成后，添加节点。

3 添加节点

点击添加节点按钮，输入节点名称并勾选节点角色，点击确定按钮将其加入到集群计划中。
例如：主节点设置名称为master，角色勾选控制节点、ETCD节点、工作节点；工作节点1设置名称为node1，角色勾选工作节点；工作节点2设置名称为node2，角色勾选工作节点。
所有节点信息添加和编辑完成后，点击保存按钮保存集群计划信息。

添加节点后，选中节点，在右侧相应节点的信息标签页中编辑主机IP地址，如果该主机的root用户密码与全局设置不同，可以在这里设置用户名和密码。点击验证连接，可以测试该主机是否能正确连接，并返回主机信息。

4 安装/设置集群

在集群信息查看页面，点击安装/设置集群按钮，选择显示日志输出的详细程度、并发数量等信息，点击确认按钮，Kuboard-Spray将自动为该集群的所有节点进行安装和配置，等待日志输出安装成功即可。该过程可能要等待半个小时以上。

5 访问集群

安装完成后，点击上方集群名称后的刷新按钮，可以刷新集群状态。

使用Kuboard-spray安装集群，默认会勾选可选组件中的Kuboard，用于可视化管理集群。会安装在主节点上，这样

集群连接成功后，就可以点击使用集群规划外的其他标签页。在访问集群标签页可以看到kuboard访问集群的信息，例如：

http://192.168.16.107 默认用户名: admin 默认密 码: Kuboard123 

在浏览器中访问Kuboard的

3.4.3 离线独立安装Kuboard集群可视化管理工具

1 安装Kuboard

如果不想默认将Kuboard安装到集群的控制节点上，可以在使用Kuboard-spray安装集群的时候在可选插件中取消Kuboard。然后独立安装Kuboard到合适的服务器上。

参考上文中其他的镜像导入方案，将Kuboard的镜像从公网拉下来，导入到内网服务器或推送到私有镜像仓库
执行docker run 命令运行Kuboard服务

docker run -d \   --restart=unless-stopped \   --name=kuboard \   -p 80:80/tcp \   -p 10081:10081/tcp \   -e KUBOARD_ENDPOINT="http://内网IP:80" \   -e KUBOARD_AGENT_SERVER_TCP_PORT="10081" \   -v /root/kuboard-data:/data \   eipwork/kuboard:v3 

参数解释
建议将此命令保存为一个 shell 脚本，例如 start-kuboard.sh，后续升级 Kuboard 或恢复 Kuboard 时，需要通过此命令了解到最初安装 Kuboard 时所使用的参数；
第 4 行，将 Kuboard Web 端口 80 映射到宿主机的 80 端口（您可以根据自己的情况选择宿主机的其他端口）；
第 5 行，将 Kuboard Agent Server 的端口 10081/tcp 映射到宿主机的 10081 端口（您可以根据自己的情况选择宿主机的其他端口）；
第 6 行，指定 KUBOARD_ENDPOINT 为 http://内网IP，如果后续修改此参数，需要将已导入的 Kubernetes 集群从 Kuboard 中删除，再重新导入；
第 7 行，指定 KUBOARD_AGENT_SERVER 的端口为 10081，此参数与第 5 行中的宿主机端口应保持一致，修改此参数不会改变容器内监听的端口 10081，例如，如果第 5 行为 -p 30081:10081/tcp 则第 7 行应该修改为 -e KUBOARD_AGENT_SERVER_TCP_PORT=“30081”；
第 8 行，将持久化数据 /data 目录映射到宿主机的 /root/kuboard-data 路径，请根据您自己的情况调整宿主机路径；

参考官方命令，修改第4行将Kuboard对外端口映射到8092端口，第6行的Kuboard的api服务端地址改为部署的服务器的内网IP，以便集群能够正常和Kuboard的api服务通信。

docker run -d \  --restart=unless-stopped \  --name=kuboard     -p 8092:80/tcp     -p 10081:10081/tcp     -e KUBOARD_ENDPOINT="http://192.168.16.110:80"     -e KUBOARD_AGENT_SERVER_TCP_PORT="10081"     -v /root/kuboard-data:/data     192.168.16.106:5000/kuboard/kuboard:v3 

容器启动后，即可使用浏览器访问http://192.168.16.110:8092，进入可视化管理工具。默认用户名密码为admin/Kuboard123。

2 添加集群到Kuboard

添加已有的集群到Kuboard进行管理，在v3.5.2.5版本后，增加token添加方式，简单，通用性强，选择使用token的方式

前提条件：
Kuboard 可以访问 Kubernetes 集群的 APIServer
优点：
无需安装 Agent
可以支持高可用
适用各种方式安装的 k8s 集群

根据界面提示在集群master节点执行命令获取token，填写其他连接信息，点击确定即可添加成功。

3 安装metrics-scraper

metrics-scraper 用于存储最近一段时间内的 CPU/内存度量信息，以便在 kuboard 中展示 CPU/内存的曲线图

选择我的私有镜像仓库，填写镜像仓库地址和项目名称，界面下方会提示镜像拉取、打标签和推送到私有镜像仓库的命令，按照提示将镜像推动到私有镜像仓库后，点击确定安装即可。