部署一套高性能高可靠的Ingress接入层

高可靠部署架构

高可靠性首先要解决的就是单点故障问题，通常系统采用多副本部署的方式，在Kubernetes集群中部署高可靠Ingress接入层同样采用多节点部署架构，同时由于Ingress作为集群流量接入口，建议系统采用一个Ingress服务独占一个Ingress节点的方式，以避免业务应用与Ingress服务发生资源抢占。

如上述部署架构图，由多个独占Ingress实例组成统一接入层来承载集群入口流量，同时可依据后端业务流量水平扩缩容Ingress节点。若您前期的集群规模并不大，也可以采用将Ingress服务与业务应用混部的方式，但注意进行资源限制和隔离。

查看集群默认部署的Pod副本及公网地址

当您成功创建一个集群后，默认情况下，集群内部已经部署了一套拥有2个Pod副本的Nginx Ingress Controller服务，其前端挂载在一个公网SLB实例上。

1. 执行以下命令查看部署Nginx Ingress Controller服务的Pod。
   kubectl -n kube-system get pod | grep nginx-ingress-controller

   nginx-ingress-controller-8648ddc696-2bshk                    1/1     Running   0          3h
   nginx-ingress-controller-8648ddc696-jvbs9                    1/1     Running   0          3h

2. 执行以下命令查看nginx-ingress-lb服务对应的公网SLB地址。
   kubectl -n kube-system get svc nginx-ingress-lb

   NAME               TYPE           CLUSTER-IP    EXTERNAL-IP      PORT(S)                      AGE
   nginx-ingress-lb   LoadBalancer   172.xx.x.xx   118.xxx.xxx.xx   80:32457/TCP,443:31370/TCP   21d

部署高可靠的Ingress接入层

随着集群业务规模的逐渐扩大，系统需要扩容Ingress接入层，以保证集群接入层的高性能高可用，可通过以下两种方法完成。

• 方法一：增加Pod副本数量

  通过调整Nginx Ingress Controller Deployment的Pod副本数量，可以快速增加Ingress接入层的规模。

  1. 执行以下命令，将Pod副本数量扩容到3个。
     kubectl -n kube-system scale --replicas=3 deployment/nginx-ingress-controller
     deployment.extensions/nginx-ingress-controller scaled

  2. 执行以下命令，查看部署Nginx Ingress Controller服务的Pod。
     kubectl -n kube-system get pod | grep nginx-ingress-controller

     nginx-ingress-controller-8648ddc696-2bshk                    1/1     Running   0          3h
     nginx-ingress-controller-8648ddc696-jvbs9                    1/1     Running   0          3h
     nginx-ingress-controller-8648ddc696-xqmfn                    1/1     Running   0          33s

• 方法二：在指定的高配置节点上部署Ingress服务

  如果您需要Nginx Ingress Controller仅运行在指定的一些高配置节点上，可以通过给节点添加标签来完成。

  1. 执行以下命令查看当前集群的节点情况。
     kubectl get node

     NAME                                 STATUS   ROLES    AGE   VERSION
     cn-hangzhou.i-bp11bcmsna8d4bp****   Ready    master   21d   v1.11.5
     cn-hangzhou.i-bp12h6biv9bg24l****   Ready    <none>   21d   v1.11.5
     cn-hangzhou.i-bp12h6biv9bg24l****   Ready    <none>   21d   v1.11.5
     cn-hangzhou.i-bp12h6biv9bg24l****   Ready    <none>   21d   v1.11.5
     cn-hangzhou.i-bp181pofzyyksie****   Ready    master   21d   v1.11.5
     cn-hangzhou.i-bp1cbsg6rf3580z****   Ready    master   21d   v1.11.5

  2. 执行以下命令，给Ingress Node节点cn-hangzhou.i-bp12h6biv9bg24lmdc2o和cn-hangzhou.i-bp12h6biv9bg24lmdc2p添加标签node-role.kubernetes.io/ingress="true"。
     kubectl label nodes cn-hangzhou.i-bp12h6biv9bg24lmdc2o node-role.kubernetes.io/ingress="true"
     node/cn-hangzhou.i-bp12h6biv9bg24lmdc2o labeled

     kubectl label nodes cn-hangzhou.i-bp12h6biv9bg24lmdc2p node-role.kubernetes.io/ingress="true"
     node/cn-hangzhou.i-bp12h6biv9bg24lmdc2p labeled

     说明

     • 添加标签的节点数量要大于等于集群Pod副本数，从而避免多个Pod运行在同一个节点上。
     • 查询结果中，若ROLES的值显示为none，则表示为Worker节点。
     • 建议您不要将Ingress服务部署到Master节点上，尽量选择Worker节点添加标签。
  3. 执行以下命令，更新deployment，增加nodeSelector配置。
     kubectl -n kube-system patch deployment nginx-ingress-controller -p '{"spec": {"template": {"spec": {"nodeSelector": {"node-role.kubernetes.io/ingress": "true"}}}}}'
     deployment.extensions/nginx-ingress-controller patched

  4. 执行以下命令，查看Ingress Pod已部署在添加了标签node-role.kubernetes.io/ingress="true"的集群节点上。
     kubectl -n kube-system get pod -o wide | grep nginx-ingress-controller

     nginx-ingress-controller-8648ddc696-2bshk                    1/1     Running   0          3h    172.16.2.15     cn-hangzhou.i-bp12h6biv9bg24lmdc2p   <none>
     nginx-ingress-controller-8648ddc696-jvbs9                    1/1     Running   0          3h    172.16.2.145    cn-hangzhou