kubeadm | 伪架构师

Kubernetes 权威指南第二章校对（1）

Mon, 06 Jan 2020 23:58:31 +0800

权威指南第二章的内容，是 Kubernetes 有史以来最经久不衰的入门话题：安装。

这里出了个巧合，编写第二章时，我负责的是 kubeadm 的部分，搭建虚拟机集群准备开始校对的时候，发现这一批虚拟机被分配的 IP 和写稿时候是一样的——10.211.55.30-32

kubeadm init

在 kubeadm init 命令配置一节，原本使用了我自己的 Docker hub 仓库，现在 AWS 提供了 gcr 镜像，这里也就顺便改成了：imageRepository: gcr.azk8s.cn/google_containers。

init 命令执行过程中，会进行预检，官方文档中也介绍了预检内容：

init命令首先会执行一段称为preflight的预检工作，对当前的服务器状况进行检查，会导致检查不通过的情况包括：

Kubnernetes 需求：
- 操作系统是否为 Linux；
- 内核是否为 3.10+ 或者 4+，并启用特定开关；
- 是否有合适的 cgroup 子系统配置；
Docker 服务不存在或者无法工作；
crictl sockert 无应答。
当前用户不是 root；
主机名称不是有效的 DNS 子域；
kubelet 版本低于 kubeadm 的要求（通常能够容忍一个小版本号的差异）；
kubelet 版本比 kubeadm 版本高出一个小版本号以上；
API Server 的绑定端口（10250、10251以及10252）被占用；
/etc/kubernetes/manifest 已经存在并且非空；
/proc/sys/net/bridge/bridge-nf-call-iptables 不存在或者内容中不包含“1”；
公布地址为 ipv6 并且 /proc/sys/net/bridge/bridge-nf-call-ip6tables 文件不存在或者内容中不包含“1”；
找不到 ip、iptables、mount 或者 nsenter 命令；
启用了交换文件；
如果指定了外部 etcd：
- 如果 etcd 版本低于 3.0.14；
- 如果 etcd 中引用了不存在的证书或密钥。
如果没有指定外部的 etcd：
- 如果 2379 端口被占用；
- 如果 Etcd.DataDir 路径已经存在并且非空；
如果认证模式为 ABAC：
- abac_policy.json 文件不存在。
如果认证模式为 WebHook：
- webhook_authz.conf 不存在。

常见的三个操作

以CentOS 7.5 Minimal版本为例，一般会有三个需要修改的地方：

关闭交换文件：

swapoff -a
删除 /etc/fstab/ 中的 swap 一行，重新启动。

使用 sysctl 设置net.bridge.bridge-nf-call-iptables 和 net.ipv4.ip_forward 为 1。

设置 Docker 配置文件 /etc/docker/daemon.json 内容如下，设置 Docker的 cgroupdriver 为 systemd，并重新启动 Docker 服务：

{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2",
"storage-opts": [
"overlay2.override_kernel_check=true"
]
}

单节点集群

该操作并非删除标签，而是去污点操作。

参考连接

预检：https://kubernetes.io/docs/reference/setup-tools/kubeadm/implementation-details/
Building large clusters：https://kubernetes.io/docs/setup/best-practices/cluster-large/

Containerd 1.1.0 尝鲜记

Wed, 30 May 2018 00:41:44 +0800

Containerd 1.1.0 的 Kubernetes 支持已经进入可用阶段，Kubernetes 1.10 和未来的的 Docker 版本都会以此为基础，作为一个熟练软件安装工，自然是要先睹为快了。

这里使用 Kubeadm 进行测试。

环境准备

首先进行 Kubeadm 的环境准备：

安装 libseccomp, conntrack
关闭防火墙服务
开启 sysctl：ip_forward、net.bridge.bridge-nf-call-iptables
参考官方指南，安装 kubeadm、kubelet 以及 kubectl，此处暂时不启动 kubelet 服务。

安装 contaierd

下载 cri-containerd 1.1.0，并解压，其中包含 /usr、/etc 以及 opt 三个目录，这里我们只是用前两个目录的内容，目录结构如下，直接复制即可：

├── etc
│   ├── crictl.yaml
│   └── systemd
│       └── system
│           └── containerd.service
└── usr
    └── local
        ├── bin
        │   ├── containerd
        │   ├── containerd-release
        │   ├── containerd-shim
        │   ├── containerd-stress
        │   ├── crictl
        │   ├── critest
        │   └── ctr
        └── sbin
            └── runc

crictl.yaml：crictl 的配置文件，缺省包含一行 runtime-endpoint: unix:///run/containerd/containerd.sock，指定运行时的连接方式。
containerd.service：服务文件，设置自动启动即可。
ctr：containerd 客户端
crictl：cri 客户端
runc：运行时，contaienrd 依赖项

这里可以发现，并没有包含 containerd 自己的配置文件，可以使用 containerd config default > /etc/containerd/config.toml 命令，来生成缺省配置文件，然后自行变更。例如可以修改仓库镜像地址。

另外对国内用户比较重要的一点是，仍然是可以使用环境变量方式的配置来设置 HTTP_PROXY 以及 NO_PROXY 的内容。

配置完成后，使用 systemctl 启动服务。

载入镜像

docker.io/coredns/coredns:1.0.6
k8s.gcr.io/kube-proxy-amd64:v1.10.3
k8s.gcr.io/etcd-amd64
k8s.gcr.io/kube-apiserver-amd64:v1.10.3
k8s.gcr.io/kube-controller-manager-amd64:v1.10.3
k8s.gcr.io/kube-proxy-amd64:v1.10.3
k8s.gcr.io/kube-scheduler-amd64:v1.10.3
k8s.gcr.io/pause:3.1

ctr 的镜像载入命令：ctr cri load image.tar，似乎不支持 gz。

配置 Kubelet 使用 containerd

简单的在 Kubelet 的环境变量上加入如下内容，再启动 Kubelet 服务：

[Service]
Environment="KUBELET_EXTRA_ARGS=--runtime-cgroups=/system.slice/containerd.service --container-runtime=remote --runtime-request-timeout=15m --container-runtime-endpoint=unix:///run/containerd/containerd.sock"

Kubeadm 集群安装

这里提供一个简单的初始化命令：

kubeadm init \
--pod-network-cidr=192.168.0.0/16 \
--feature-gates CoreDNS=true \
--ignore-preflight-errors=Service-Docker \
--ignore-preflight-errors=SystemVerification \
--kubernetes-version=v1.10.3 # 防止 kubeadm 向服务器查询镜像列表。

Kubeadm 缺省情况下依旧是需要检查 Docker 的运行情况的，因此这里我们使用 --ignore-preflight-errors 开关关闭这项检查。

Master 初始化结束之后，就可以跟随 kubeadm 指示，进入其他节点，运行 kubeadm join 命令来加入集群了，加入命令同样需要设置 --ignore-preflight-errors=all 来规避 Docker 检查。

接下来可以按照自己喜好安装网络插件了。

可以使用 kubectl describe nodes [node name] 来检查节点信息：

...
Container Runtime Version:  containerd://1.1.0
Kubelet Version:            v1.10.3
Kube-Proxy Version:         v1.10.3
PodCIDR:                     192.168.0.0/24
...

这里可以看到，运行时已经更新为 containerd://1.1.0

后记

正如在前面文章提到的，containerd 并非 Docker 的替代品，只是一个子集，独立使用是很困难的，因此还是比较适合用于 Kubelet 控制之下的容器运行支持。

下载链接以及参考链接

cri-containerd 1.1.0：https://storage.googleapis.com/cri-containerd-release/cri-containerd-1.1.0.linux-amd64.tar.gz
kubeadm 安装指南：https://kubernetes.io/docs/tasks/tools/install-kubeadm/
containerd 安装指南：https://github.com/containerd/containerd/releases
Containerd 1.1.0 的 Kubernetes 支持已经进入可用阶段： https://blog.fleeto.us/post/kubernetes-containerd-integration-goes-ga/

Kubeadm 离线安装器 1.10

Mon, 02 Apr 2018 05:30:37 +0800

项目地址：https://github.com/fleeto/kubeadm-offline-installer

更新内容

升级到了 Kubernetes 1.10。
使用 CoreDNS 代替了原来的 KubeDNS。
升级 Calico 网络插件为 3.0.4 版。

仅在 centos 7 minimal 测试通过。

使用方法：

需要 2.4.0 以上版本的 ansible。
从 Releases 页下载和解压所需版本。
编写 Host 文件，分组方式可以参考 hosts/hosts.sample。
group_vars/all 中有部分可以修改的变量。
运行脚本。
/usr/local/bin 目录下会生成初始化和加入集群的脚本。
/etc/kubernetes 目录中包含证书和配置文件。

Kubeadm offline installer 升级到 1.7.0 版本

Thu, 06 Jul 2017 23:19:51 +0800

仓库地址

本来做这玩意的初衷就是，Kubeadm 和 Kubernetes 是一家人，升级比较方便跟得住。未曾想第一次大版本升级，就遇到了个不大不小的坑，导致安装无法完成。这个 Issue 会在 1.7.1 修补，下面介绍一下曲线救国的安装方式。

这一问题的似乎是 kubeadm 的更新破坏了 TLS 自动授权过程造成的，具体症状是：主节点的 kubeadm init 完成之后，在其他节点上使用 kubeadm join --token=xxxx host_ip:host_port 命令加入集群时，集群会反复输出错误信息，大意是 kube-public 命名空间中名为 cluster-info 的 ConfigMap 中没有对应 token 的签署记录。

使用 kubectl 查看该 ConfigMap，和 1.6.6 的集群作对照（是的，安装的够快，想要什么版本都容易），发现 1.7.0 里面这个 ConfigMap 的元素列表确缺少这一块内容。

既然如此，看样子手工签署也是要不少工夫，干脆转头使用上一版本（1.6.6）的 kubeadm，使用指定版本的方式来安装 1.7.0 的集群。

kubeadm init 过程会顺利完成，然而在 kubeadm join 过程中，会卡在 CSR 阶段，经过翻查文档，1.7.0 的自动授权方式有变化，废弃了原有的根据 Group 自动通过的开关，一不做二不休，在 Playbook 的 Master Role 中新建一个 Cron Job，每分钟执行一次如下命令：

#!/bin/sh
TOKEN=`kubectl get csr | grep csr | grep -i pending | cut -f1 -d " " | head -n 1`
if [[ -n "$TOKEN" ]]; then
  kubectl certificate approve $TOKEN
  echo "CSR: $TOKEN had been approved." >> /var/log/auto_approval.log
else
  echo "CSR not found." >> /var/log/auto_approval.log
fi

简单说就是获取在途的 CSR，进行 Approve。这样在后面的节点进行加入的时候，主节点会每分钟进行一次 Approve，在所有节点成功加入之后，调用 Cleanup 角色，禁用这一功能即可。

最后，Github 不建议在版本库中存放二进制文件，这里我将所有二进制文件集中到了根目录的 files 目录下，要顺利使用这一脚本，一定要在 Release 页面中下载相应的压缩包来使用。

kubeadm 踩坑记

Tue, 27 Jun 2017 08:14:05 +0800

Kubeadm 是个让我爱恨交加的东西，一方面，我不认为一个生产集群应该使用这样一个第三方工具进行在线安装，尤其是在目前这种网络环境之下；而另外一方面，Kubeadm 这一工具是随 Kubernetes 同步更新的，其中包含了大量的集群配置方面的最佳实践，是追新的最佳参考，所以这个讨厌的东西的运行是必须需要得到保障的。kubeadm 的执行过程沉默到令人发指，因此下面分享几个使用过程中遇到的一些问题和解决的思路和方法，希望对同行们有所帮助。

下面的例子是基于 kubeadm 1.6.6 + Centos 7 的执行过程记录的。

写入 yum repo 并进行安装之后，利用 systemctl enable kubelet 启用 kubelet 服务之后，只要运行一下 systemctl daemon-reload即可，这一服务的启动需要 kubeadm 生成的证书和配置文件等的支持，因此无需进行启动。
kubeadm init过程首先会检查代理服务器，确定跟 kube-apiserver 的 https 连接方式，如果有代理设置，会提出警告。
接下来会对 sysctl 进行检查，我这里需要执行 sysctl net.bridge.bridge-nf-call-iptables=1 ，对这一参数进行调整，解决他的警告。
接下来进入最抓狂的一个等待时间，屏幕显示为[apiclient] Created API client, waiting for the control plane to become ready，这一过程中会遇到大多数的坑，我一般会另外启动一个连接或者 tmux 窗口，进行观察和除错：
- 这里已经做好运行 kubelet 服务的准备，因此这一时间内，我们可以利用systemctl statusl -l kubelet对服务的启动状况进行检查，目前比较容易遇到的是 kubectl 和 docker 两个服务的cgroup-driver不一致的问题，这里编辑文件/etc/systemd/system/kubelet.service.d/10-kubeadm.conf，修改这一参数值为跟 docker 一致的cgroupfs即可。这一步可以在 kubeadm init 之前执行完成
- kubelet 启动之后，会尝试运行系统组件的 Pod，这里我们可以通过观察docker images的镜像列表来观察是否能够顺利进行下载。
- 镜像下载完成之后就会开始运行各个系统组件，因此也是事故最为集中的阶段，我们可以使用docker ps、docker logs、docker inspect几个命令，逐个查看组件的运行情况，对失败组件的原因进行排除，之前提过的resolv.conf的故障就是在这一阶段发现并排除的。

kubeadm 安装 Kubernetes 1.6.2

Mon, 08 May 2017 19:20:39 +0800

因为一些莫可名状的原因，国内网络使用 Kubeadm 颇有难度，这里大概说一下过程中的一些坑。

主体流程遵循官网指南：https://kubernetes.io/docs/getting-started-guides/kubeadm/

¹⁄₄ 准备工作

这里用包管理的方式安装 kubeadm、Docker 等组件。需要注意一点点的是，如果用的非 Root 用户，要注意 sudo 的时候的环境代理设置问题。或者干脆在 apt/yum 的配置文件中写入代理服务器。

另外这里安装 Docker 之后，注意给 Docker 配置代理。或者可以直接想法子搞到下面列表中的镜像，并导入 Docker 之中：

镜像准备

下面提到的镜像基于目前的 1.6.2 版本，每次更新都会有不同。

Image	Ver	Component
gcr.io/google_containers/kube-proxy-amd64	v1.6.2	Kubernetes
gcr.io/google_containers/kube-controller-manager-amd64	v1.6.2	Kubernetes
gcr.io/google_containers/kube-apiserver-amd64	v1.6.2	Kubernetes
gcr.io/google_containers/kube-scheduler-amd64	v1.6.2	Kubernetes
gcr.io/google_containers/etcd-amd64	3.0.17	Kubernetes
gcr.io/google_containers/pause-amd64	3.0	Kubernetes
gcr.io/google_containers/k8s-dns-sidecar-amd64	1.14.1	DNS
gcr.io/google_containers/k8s-dns-kube-dns-amd64	1.14.1	DNS
gcr.io/google_containers/k8s-dns-dnsmasq-nanny-amd64	1.14.1	DNS
gcr.io/google_containers/etcd	2.2.1	Calico
quay.io/calico/node	v1.1.3	Calico
quay.io/calico/cni	v1.8.0	Calico
quay.io/calico/kube-policy-controller	v0.5.4	Calico

²⁄₄ Master 初始化

kubeadm init

这里的几个问题：

如果准备采用 flannel 插件，需要 -pod-network-cidr 10.244.0.0/16 参数
Ubuntu 下可能会出现无限等待 Node 加入的情况，可能的原因是 /etc/resolv.conf 中有关于 localhost 的 search 记录，删掉这行就能解决。
如果准备采用 Calico 插件，那么要注意 Calico 的 YAML 中的 ip pool 跟集群设置一致。
如果不是预先准备好的备份，过程会比较长，耐心。。

Init 成功之后会出一堆文本信息，其中包含几点内容，最好保存下来：

自动生成的 kubectl config 文件，可以复制到 ~/.kube/config 中作为缺省 kubectl 使用。
把新节点加入集群的方法。

另外这里还有个提示——没有安装 Pod Network。

³⁄₄ 安装 Pod Network

这一步很重要，所有的应用包括 Kube DNS 在内，都依赖于此。

如上文所示，准备使用的是 Calico，这里值得注意的一坑是，不同版本的 Kubernetes 会有不同的 Calico 安装，1.6 版本应该使用的是：kubectl apply -f http://docs.projectcalico.org/v2.1/getting-started/kubernetes/installation/hosted/kubeadm/1.6/calico.yaml

http://docs.projectcalico.org/v2.1/getting-started/kubernetes/installation/hosted/kubeadm/ 还有一些其他的安装方式可以参考。

Calico 的注意事项

他的 ETCD 服务器要求装在 Master 所在的 Node 上，使用的是 nodeSelector 的方式，选择标签：node-role.kubernetes.io/master: ""。
上文提到的 pod network cidr 和 ip pool 的一致性问题
--service-cidr 和 IP Pool 不能重叠

⁴⁄₄ 加入节点

在其他 Node 上做好准备工作之后，用kubeadm init命令中提到的kubeadmin join方法加入集群。