Kubernetes(三):k8s集群部署之kubeadm

k8s部署环境

  • 公有云环境:AWS、腾讯云、阿里云等等
  • 私有云:OpenStack、vSphere等
  • Baremetal环境:物理服务器或独立虚拟机(底层没有云环境)。

k8s部署方式

  • Minikube:Kubernetes官网提供的微型分布式环境,适合学习、初次体验,不过应该需要梯子才能用。
  • Kubeadm:由于二进制部署方式过于复杂,所以后来出现了Kubeadm的部署方式,这种方式其实是将k8s的各组件容器化了。注意,使用容器方式部署Master节点各组件时,需要安装kubelet和docker组件去实例化容器。这种方式有些缺点:

    • 这些运行容器所需要的部分镜像在gcr.io(谷歌的镜像站)上,你懂得,架梯子才能访问。
    • k8s集群内部通信采用的是TLS认证机制,但是内部都内网通信,所以一般采用自建CA,此种方式部署,其中的证书不是自己签的,所以搞不好啥时候就过期了,所以生产环境不适用
    • 不支持Master节点高可用,一旦Master节点挂了,容器管理怎么办?监控、故障恢复谁处理?
  • 二进制部署:相对复杂,生产环境适用。将重要组件以守护进程的方式部署
  • 还有一些云厂商专有的部署方式,如kops,这里就不一一介绍了。
  • 二次封装的k8s发行版

    • Rancher:Rancher Labs基于k8s的二次封装发行版。
    • Tectonic:CoreOS公司基于k8s的二次封装发行版。
    • Openshift:Redhat基于k8s的二次封装发行版,只留下k8s的成熟功能,部署更加便捷,需要有ansible基础。相比较知名的发行版就是Rancher和Openshift

k8s部署要点

  • 测试环境

    • 单Master,单etcd
    • Node节点随意。
    • NFS存储
  • 生产环境

    • 高可用Master,高可用etcd,至少三个。

      • kube-apiserver是无状态的,可以配置多实例。利用nginx或者haproxy做反代,并借助keepalived实现冗余。
      • kube-scheduler和kube-controller-manager各自只能有一个活动实例(同时几个scheduler去掉都同一个Pod,听谁的。),但是可以建多个实例备用。他们自带leader选举功能,且默认开启此功能。
    • 多Node主机,数量越多,冗余能力越强。
    • ceph或glusterfs等分布式存储
  • 主机环境预设

    • 如果有条件,最好搭建一个内网ntp服务,用来同步时间
    • 配置好各节点间的hosts解析
    • 禁用防火墙和Selinux,防止混淆
    • 各节点禁用swap,使用swap虽然暂时能节省一些物理内存,但也会造成性能下降。安装时会自动检查此项,不禁用会导致安装出错,不过也有参数可以忽略。。。

kubeadm部署k8s

  • 主机规划
主机名 IP 角色 环境
master01 10.0.0.10 控住节点 Centos 7.5,配置最少2核CPU,2G内存
node01 10.0.0.20 数据节点 Centos 7.5
  • 准备工作(所有节点)

    1. 我没有搭建自己的ntp,就用个定时任务替代了吧。
[root@master01 ~]# crontab -l 
# time sync
*/5 * * * * /usr/sbin/ntpdate ntp1.aliyun.com &>/dev/null
  1. 配置主机名解析
[root@master01 ~]# tail -3 /etc/hosts
10.0.0.10 master01
10.0.0.20 node01
  1. 关闭防火墙和selinux
[root@master01 ~]# systemctl stop firewalld.service
[root@master01 ~]# systemctl disable firewalld.service
[root@master01 ~]# sed -i.bak 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
[root@master01 ~]# setenforce 0
  1. 禁用swap,默认情况下系统的swap都是打开的。
# 我在自己电脑上创建的虚拟机做的实验,资源有限,这里就不禁用swap了。emmmm....禁用命令如下:
[root@master01 ~]# swapoff -a
# 上面只是临时生效,永久生效把fstab文件中所有的swap条目注释掉。
[root@master01 ~]# cat /etc/fstab | grep swap
#UUID=0226cdc9-a352-4779-bffb-13e6b794e98b swap                    swap    defaults        0 0
  1. 设置开机自动启用ipvs内核模块
    Node节点中的kube-proxy支持iptables和ipvs两种模式。从v1.2版本开始,iptables就作为kube-proxy的默认操作模式,v1.8引入了ipvs模式,v1.11可以正式使用。iptables和ipvs都是基于netfilter安全框架,相比iptables来说,ipvs能够为大型集群提供了更好的扩展性和性能,并且可以支持更加复杂的负载均衡算法。ipvs依赖于iptables,咱先把准备工作做好,用不用再说。
vim /etc/sysconfig/modules/ipvs.modules
#!/bin/bash

ipvs_dir='/usr/lib/modules/`uname -r`/kernel/net/netfilter/ipvs'
for m in `ls $ipvs_dir | grep -o ^[^.]*`
do
  /sbin/modinfo -F filename $m &>/dev/null
  if [ $? -eq 0 ];then
    /sbin/modprobe $m
  fi
done
# 加载模块的脚本先写好,放在开机自动加载的modules目录中,但是先不要给执行权限,咱现在还用不到。
  1. 配置免密传输文件。此步骤可选,我为了拷贝东西方便。
[root@master01 ~]# cd /server/scripts/
[root@master01 scripts]# yum -y install sshpass
[root@master01 scripts]# vim batch.sh
#!/bin/bash

rm -rf /root/.ssh/id_dsa*
ssh-keygen -t dsa -f /root/.ssh/id_dsa -P '' -q

for ip in $*
do
  echo -e "\n-----distribute public key to 10.0.0.$ip -----\n"
  sshpass -p 123456 ssh-copy-id -i /root/.ssh/id_dsa.pub -o StrictHostKeyChecking=no 10.0.0.$ip &>/dev/null
  echo -e "\n----- distribution of complete -----\n" 
done
[root@master01 scripts]# sh batch.sh 20 21 22
[root@master01 scripts]# cd
  • 安装程序(所有节点)

    1. 安装docker
[root@master01 ~]# wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@master01 ~]# yum -y install docker-ce
# docker自1.13版本起,启动后会默认会把防火墙的FORWARD策略改为DROP,这可能会影响k8s集群的报文转发功能,所以我们需要将FORWARD链的默认策略改为ACCEPT。
[root@master01 ~]# vim /usr/lib/systemd/system/docker.service。
ExecStartPost=/usr/sbin/iptables -P FORWARD ACCEPT  # 当docker启动后额外执行此条命令。此行加到ExecStart行下面。
[root@master01 ~]# systemctl daemon-reload
[root@master01 ~]# systemctl start docker
[root@master01 ~]# systemctl enable docker
# 使用docker info命令有报告警信息,这里如若放任不管,后面集群初始化和node节点加入集群都会报错。
[root@master01 ~]# docker info
WARNING: bridge-nf-call-iptables is disabled
WARNING: bridge-nf-call-ip6tables is disabled
# 使用下面命令可以看到这俩个参数我们确实没有开启
[root@master01 ~]# sysctl -a | grep bridge
net.bridge.bridge-nf-call-ip6tables = 0
net.bridge.bridge-nf-call-iptables = 0
[root@master01 ~]# vim /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
[root@master01 ~]# sysctl -p /etc/sysctl.d/k8s.conf 
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
  1. 配置k8s的yum仓库,并安装相关程序。仓库的配置方法可以在阿里云镜像仓库上的kubernetes目录的帮助中查看。
# 阿里云镜像站的Kubernetes项目下el7目录中只有一个repodata,这种方式表明里面的程序包是按照当前状态构建生成的,不能够直接下载,只能本地配置yum仓库。
[root@master01 ~]# vim /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
[root@master01 ~]# yum makecache
[root@master01 ~]# yum -y install kubeadm kubectl kubelet
[root@master01 ~]# systemctl start kubelet.service
[root@master01 ~]# systemctl enable kubelet.service
  • 修改配置并初始化集群(master节点)

    1. 修改配置文件,即便检测到swap没有禁用,也不报错。
root@master01 ~]# vim /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--fail-swap-on=false"
  1. kubeadm命令使用
[root@master01 ~]# kubeadm --help
Usage:
  kubeadm [command]
Available Commands:
  alpha            # 处于测试中不太完善的命令
  config            # 显示当前配置
  init                 # 初始化集群
  join                # 各Node节点加入集群中时使用
  reset              # 每个节点都可以用,把配置还原到最初始的状态。
  upgrade         # 升级集群的版本。
# print参数也是有子命令的,使用下面命令可以查看集群初始化时的预设配置,其中一些与我们真实环境不匹配,可以在初始化时手动指定修改。
[root@master01 ~]# kubeadm config print init-defaults       # 下面只截取部分配置
imageRepository: k8s.gcr.io         # 默认加载镜像的仓库,需要梯子才能访问,如果知道国内别的仓库有需要的镜像,初始化时可以手动指定仓库地址。
kind: ClusterConfiguration
kubernetesVersion: v1.14.0          # k8s版本,这是初始化会加载的配置,如果与你预期的版本不符,自行修改。
networking:
  dnsDomain: cluster.local
  serviceSubnet: 10.96.0.0/12       # Service网络默认地址。
scheduler: {}
# 至于Pod网络,k8s只提供了CNI,真正实现网络通信,需要借助第三方插件,如flannel、calico,两者都蛮火的,不过它们的默认网络地址不同。flannel的默认地址是10.244.0.0/16,calico的默认地址是192.168.0.0/16。如果不使用默认地址,则在部署网路插件时指定的网络地址要与k8s部署时指定的Pod网络地址一致。
  1. 拉取镜像,并进行k8s集群初始化
# 使用命令行参数。指定kubernetes版本与前面下载kubeadm等程序版本一致;使用flannel插件,所以先指定网络地址;指定忽略Swap的错误检查,注意大小写;最后使用--dry-run参数测试能否执行成功
[root@master01 ~]# kubeadm init --kubernetes-version="v1.15.2" --pod-network-cidr="10.244.0.0/16" --ignore-preflight-errors=Swap --dry-run
[root@master01 ~]# echo $?
0
# 测试是没有问题的,因为还么有开始拉镜像,如果去掉--dry-runde参数执行,就会报如下错误:访问不了gcr.io。
[ERROR ImagePull]: failed to pull image k8s.gcr.io/kube-apiserver:v1.15.2: output: Error response from daemon: Get https://k8s.gcr.io/v2/: proxyconnect tcp: dial tcp 218.255.73.143:80: connect: connection refused, error: exit status 1
# 前面说过,kubeadm部署的k8s需要用到的镜像有一部分在k8s.gcr.io上,因为某种不可描述的原因导致我们拉取不到,所以只能找找国内的资源,可以先看看kubeadm需要哪些镜像。
[root@master01 ~]# kubeadm config images list
W0812 14:25:08.711840    4589 version.go:98] could not fetch a Kubernetes version from the internet: unable to get URL "https://dl.k8s.io/release/stable-1.txt": Get https://dl.k8s.io/release/stable-1.txt: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)   # 访问不到grc.io
W0812 14:25:08.711926    4589 version.go:99] falling back to the local client version: v1.15.2  # 本地客户端版本
k8s.gcr.io/kube-apiserver:v1.15.2
k8s.gcr.io/kube-controller-manager:v1.15.2
k8s.gcr.io/kube-scheduler:v1.15.2
k8s.gcr.io/kube-proxy:v1.15.2
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.3.10
k8s.gcr.io/coredns:1.3.1
# 手动下载镜像,然后修改tag
[root@master01 ~]# docker pull mirrorgooglecontainers/kube-apiserver:v1.15.2
[root@master01 ~]# docker pull mirrorgooglecontainers/kube-controller-manager:v1.15.2
[root@master01 ~]# docker pull mirrorgooglecontainers/kube-scheduler:v1.15.2
[root@master01 ~]# docker pull mirrorgooglecontainers/kube-proxy:v1.15.2
[root@master01 ~]# docker pull mirrorgooglecontainers/pause:3.1
[root@master01 ~]# docker pull mirrorgooglecontainers/etcd:3.3.10
[root@master01 ~]# docker pull coredns/coredns:1.3.1
[root@master01 ~]# docker tag mirrorgooglecontainers/kube-apiserver:v1.15.2 k8s.gcr.io/kube-apiserver:v1.15.2
[root@master01 ~]# docker tag mirrorgooglecontainers/kube-controller-manager:v1.15.2 k8s.gcr.io/kube-controller-manager:v1.15.2
[root@master01 ~]# docker tag mirrorgooglecontainers/kube-scheduler:v1.15.2 k8s.gcr.io/kube-scheduler:v1.15.2
[root@master01 ~]# docker tag mirrorgooglecontainers/kube-proxy:v1.15.2 k8s.gcr.io/kube-proxy:v1.15.2
[root@master01 ~]# docker tag mirrorgooglecontainers/pause:3.1 k8s.gcr.io/pause:3.1
[root@master01 ~]# docker tag mirrorgooglecontainers/etcd:3.3.10  k8s.gcr.io/etcd:3.3.10
[root@master01 ~]# docker tag coredns/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1
# 删除掉不用的镜像,最终如下:
[root@master01 ~]# docker images
REPOSITORY                           TAG                 IMAGE ID            CREATED             SIZE
k8s.gcr.io/kube-apiserver            v1.15.2             34a53be6c9a7        6 days ago          207MB
k8s.gcr.io/kube-proxy                v1.15.2             167bbf6c9338        6 days ago          82.4MB
k8s.gcr.io/kube-scheduler            v1.15.2             38d61dd6e105        3 weeks ago         81.1MB
k8s.gcr.io/kube-controller-manager   v1.15.2             575346c7506b        3 weeks ago         159MB
k8s.gcr.io/coredns                   1.3.1               eb516548c180        7 months ago        40.3MB
k8s.gcr.io/etcd                      3.3.10              2c4adeb21b4f        8 months ago        258MB
k8s.gcr.io/pause                     3.1                 da86e6ba6ca1        19 months ago       742kB
# 开始执行初始化操作
[root@master01 ~]# kubeadm init --kubernetes-version="v1.15.2" --pod-network-cidr="10.244.0.0/16" --ignore-preflight-errors=Swap
Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:       # 以普通用户做如下操作

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.         # 提示你该安装Pod网络插件了
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 10.0.0.10:6443 --token 2k3m1f.74e5cncv0ebarcuf \
    --discovery-token-ca-cert-hash sha256:7bd3c396064e35e4a12ca25c4a44725f102b01017a331f4f25d14ab09a6ea75a  # 初始化的结尾:注明Node加入集群的方式,注意保存此条命令。
# 此处为了方便就直接用root用户进行操作了。
[root@master01 ~]# mkdir -p $HOME/.kube
[root@master01 ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master01 ~]# chown $(id -u):$(id -g) $HOME/.kube/config       # 管理员下此步骤可省略
# config的配置文件是一定要有的,没有的话,kubectl get nodes命令就执行不了,注意配置文件一定不能泄露。node上也有此命令,但是不能执行get的操作,因为apiserver监听在master的6443的端口,除非你master节点的配置文件拷贝到node上,否则node执行kubectl get nodes就只会找本机的8080,这是没有结果的。
[root@master01 ~]# netstat -lntp | grep -i apiserve
tcp6       0      0 :::6443                 :::*                    LISTEN      16341/kube-apiserve
[root@master01 ~]# kubectl config view | grep server
    server: https://10.0.0.10:6443
[root@node01 ~]# kubectl get nodes
The connection to the server localhost:8080 was refused - did you specify the right host or port?
# 现在只有一个master节点,状态是未就绪,需要部署网络插件。
[root@master01 ~]# kubectl get nodes
NAME       STATUS     ROLES    AGE   VERSION
master01   NotReady   master   18m   v1.15.2
  1. 部署flannel网络插件,部署的命令在GitHub页面搜索"Deploying flannel manually"就可以找到。
[root@master01 ~]# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# flannel插件到running的状态取决于网速
[root@master01 ~]# kubectl get pods -n kube-system
NAME                               READY   STATUS    RESTARTS   AGE
coredns-5c98db65d4-p6btc           1/1     Running   0          41m
coredns-5c98db65d4-wbsgx           1/1     Running   0          41m
etcd-master01                      1/1     Running   0          40m
kube-apiserver-master01            1/1     Running   0          40m
kube-controller-manager-master01   1/1     Running   0          40m
kube-flannel-ds-amd64-jbnrd        1/1     Running   0          11m
kube-proxy-mh9sb                   1/1     Running   0          41m
kube-scheduler-master01            1/1     Running   0          40m
[root@master01 ~]# kubectl get nodes
NAME       STATUS   ROLES    AGE   VERSION
master01   Ready    master   41m   v1.15.2
# 这些组件都是以Pod的方式启动,可以查看本机启动的容器,名字都是以Pod开头的。
[root@master01 ~]# docker ps -a
  • 配置Node节点加入到k8s集群(所有Node节点)

    1. 修改配置文件。
root@node01 ~]# vim /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--fail-swap-on=false"
[root@node01 ~]# vim /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
[root@node01 ~]# sysctl -p /etc/sysctl.d/k8s.conf 
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
  1. node节点加入集群时,也是需要容器方式启动一些组件的,这里你就直接从master01导出再导入到node节点。
[root@master01 ~]# docker save -o node.gz k8s.gcr.io/pause:3.1 k8s.gcr.io/kube-proxy:v1.15.2 quay.io/coreos/flannel:v0.11.0-amd64 
[root@master01 ~]# scp node.gz node01:/root/
[root@node01 ~]# docker load -i node.gz
  1. 执行上面kubeadm初始化结尾注明的命令。此过程会自动启动kubelet。
[root@node01 ~]# kubeadm join 10.0.0.10:6443 --token 2k3m1f.74e5cncv0ebarcuf --discovery-token-ca-cert-hash sha256:7bd3c396064e35e4a12ca25c4a44725f102b01017a331f4f25d14ab09a6ea75a --ignore-preflight-errors=Swap
    [WARNING SystemVerification]: this Docker version is not on the list of validated versions: 19.03.1. Latest validated version: 18.09    # 这个警告信息表明,用的docker版本太新了,还不在k8s已验证的列表里面,最新已验证的版本是18.09.生产环境还是要注意版本匹配。
[root@node01 ~]# systemctl enable kubelet.service
  1. 稍微等一会去master上看,就发现node01已经ready了。
[root@master01 ~]# kubectl get nodes
NAME       STATUS   ROLES    AGE    VERSION
master01   Ready    master   119m   v1.15.2
node01     Ready    <none>   30m    v1.15.2
  1. 资源时间有限,如果有更多的node节点操作方式也是一样。

写作不易,转载请注明出处,谢谢~~

声明:该文章系转载,转载该文章的目的在于更广泛的传递信息,并不代表本网站赞同其观点,文章内容仅供参考。

本站是一个个人学习和交流平台,网站上部分文章为网站管理员和网友从相关媒体转载而来,并不用于任何商业目的,内容为作者个人观点, 并不代表本网站赞同其观点和对其真实性负责。

我们已经尽可能的对作者和来源进行了通告,但是可能由于能力有限或疏忽,导致作者和来源有误,亦可能您并不期望您的作品在我们的网站上发布。我们为这些问题向您致歉,如果您在我站上发现此类问题,请及时联系我们,我们将根据您的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。