16、Kubernetes - 实战：Kubernetes Ingress Nginx的生产运维实践

一、前言

文章Kubernetes Ingress Nginx的架构和工作原理》讲述了Ingress Nginx的工作原理，本文将对生产环境的Ingress的实践进行一些介绍。

首先需要明确的是，生产环境的Ingress Nginx一般不是直接对外的，在它的前面还有内网LB/Kong/外网LB等组建，到达Ingress Nginx所要做的应该就是针对域名和路径进行路由选择。

二、部署

2.1 部署应用

由于我们在AWS部署的Kubernetets集群使用的是Calico CNI，所以部署Ingress Nginx使用的是如下的部署方式：

https://github.com/kubernetes/ingress-nginx/blob/master/docs/deploy/baremetal.md

事先需要部署ingress nginx的配置文件如下：

apiVersion: v1
data:
  compute-full-forwarded-for: "true"
  forwarded-for-header: X-Forwarded-For
  upstream-keepalive-connections: "110"
  use-forwarded-headers: "true"
  worker-processes: "4"
kind: ConfigMap
metadata:
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
  name: nginx-configuration
  namespace: ingress-nginx

这里指定了Nginx启动时候使用4个worker、keepalive是110秒

在部署Ingress Nginx之前，先选择几个节点打上标签，这些节点会被加入LB并且Ingress Nginx daemonset会只部署在这几个节点上。同时，部署daemonset的时候，可以看到Ingress Nginx的启动参数如下：

        - args:
          - /nginx-ingress-controller
          - --configmap=$(POD_NAMESPACE)/nginx-configuration
          - --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
          - --udp-services-configmap=$(POD_NAMESPACE)/udp-services
          - --publish-service=$(POD_NAMESPACE)/ingress-nginx
          - --annotations-prefix=nginx.ingress.kubernetes.io

包括适用于ingress nginx的configmap、暴露tcp/udp服务使用的configmap等。

2.2 NodePort服务部署

部署完daemonset之后，需要另外部署NodePort Service来接入外部流量：

piVersion: v1
kind: Service
metadata:
  name: ingress-nginx
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
spec:
  type: NodePort
  ports:
    - name: http
      port: 80
      targetPort: 80
      protocol: TCP
      nodePort: 80
    - name: https
      port: 443
      targetPort: 443
      protocol: TCP
      nodePort: 443
  selector:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx

上述的Ingress Nginx将会接入80和443的流量，下图显示了不同后端服务的请求是通过NodePort进入Ingress，并且最终进入到各个业务POD：

通过Ingress的NodePort接入外部流量

三、日志方案

3.1 日志落盘路径

Ingress的日志写入到POD内部的log路径，而这个log路径是主机本地路径作为hostPath而mount到POD内部的，所以Nginx的日志实际上是落盘到主机磁盘上的。为此，每个主机我们挂载了一块日志盘，专门进行日志存储。部署Daemonset的时候路径mount的配置如下：

...
          volumeMounts:
          - mountPath: /var/log/nginx/
            name: log-volume

...
        volumes:
        - hostPath:
            path: /var/log/pod-logs/ingress-nginx
            type: Directory
          name: log-volume

3.2 日志格式

可以在nginx-configuration这个configmap里面定义Ingress Nginx的日志格式：

  log-format-upstream: $remote_addr - $remote_user [$time_local] $server_name:$server_port
    $scheme "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"
    "$http_x_forwarded_for" $connection $upstream_addr $upstream_response_time $request_time
    $request_length

3.3 日志rotate

由于业务系统所有请求都会经过Ingress，所以Ingress的日志量非常巨大，所以需要及时的压缩和rotate。在Ingress Nginx POD中进行log rotate，最大的难度在于要通过宿主机cronjob达成两件事情：

• 在容器内部使用kill向nginx进程发送reload信号，进行不影响业务的日志切换
• 能在外部运行logroate对日志进行rotate

下图就展示了这个流程：

Ingress Nginx日志rotate流程

我们系统每隔一小时进行一次rotate，对应的cron job如下：

*/5 * * * *  /usr/sbin/logrotate /var/log/pod-logs/ingress-nginx/nginx.logroate >/dev/null 2>&1

nginx.logroate的内容如下：

/var/log/pod-logs/ingress-nginx/*.log {
size 1024M
rotate 10
missingok
notifempty
sharedscripts
dateext
dateformat -%Y-%m-%d-%s
postrotate
    if [ /usr/bin/docker ps | grep ingress-controller_nginx-ingress | grep -v pause | awk '{print $1}' ]; then
        /bin/bash /var/log/pod-logs/ingress-nginx/cron-cmd  || true
    fi
endscript
}

cron-cmd内容如下：

#!/bin/bash

CID=/usr/bin/docker ps | grep ingress-controller_nginx-ingress | grep -v pause | awk '{print $1}'
/usr/bin/docker exec $CID bash /var/log/nginx/nginx-ingress-rotate.sh

nginx-ingress-rotate.sh内容如下：

#!/bin/bash

getdatestring()
{
    TZ='Asia/Chongqing' date "+%Y%m%d%H%M"
}
datestring=$(getdatestring)

#mv /var/log/nginx/access.log /var/log/nginx/access.${datestring}.log
#mv /var/log/nginx/error.log /var/log/nginx/error.${datestring}.log
kill -USR1 cat /tmp/nginx.pid

最后的rotate效果如下：

四、监控方案

Ingress Nginx默认部署的时候就开启了兼容Prometheus的监控数据接口，所以我们可以定义如下的cluster service来暴露这些接口：

kind: Service
apiVersion: v1
metadata:
  namespace: ingress-nginx
  name: nginx-ingress-prometheus
  labels:
    k8s-app: ingress
spec:
  type: ClusterIP
  clusterIP: None
  ports:
  - name: metrics
    port: 10254
    protocol: TCP
  selector:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx

然后定义如下的servicemonitor向prometheus进行注册：

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: kube-nginx-ingress
  namespace: monitoring
  labels:
    k8s-app: ingress
spec:
  jobLabel: k8s-app
  endpoints:
  - port: metrics
    interval: 30s
  selector:
    matchLabels:
      k8s-app: ingress
  namespaceSelector:
    matchNames:
    - ingress-nginx

最后在grafana进行展示：

五、配置Ingress暴露服务

5.1 暴露HTTP服务

这个路径给出了ingress的一些配置类型可以进行参考：

https://kubernetes.io/docs/concepts/services-networking/ingress/#types-of-ingress

经典的案例:

piVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/proxy-body-size: 50m
  labels:
    app: myapi-service-ingress
  name: myapi-service-ingress
  namespace: myapi
spec:
  rules:
  - host: myapi.test.com
    http:
      paths:
      - backend:
          serviceName: myapi-service-service
          servicePort: 8080
        path: /

路径替换的案例：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/proxy-body-size: 50m
    nginx.ingress.kubernetes.io/rewrite-target: /$2
  labels:
    app: my-api-kong-ingress
  name: my-api-kong-ingress
  namespace: myapp
spec:
  rules:
  - host: platform.test.com
    http:
      paths:
      - backend:
          serviceName: my-api-service
          servicePort: 8080
        path: /brand(/|$)(.*)

fanout的案例：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/proxy-body-size: 50m
  labels:
    app: my-service-ingress
  name: my-service-ingress
  namespace: myapp
spec:
  rules:
  - host: my.test.com
    http:
      paths:
      - backend:
          serviceName: my-service
          servicePort: 8000
        path: /
      - backend:
          serviceName: my-service
          servicePort: 9102
        path: /metrics

5.2 暴露TCP/UDP服务

在我们的业务场景中，我们需要暴露TCP服务来向集群外的应用提供集群内部署的TCP服务，比如MySQL/Etcd/Zookeeper，Etcd服务用于虚拟机和POD进行服务发现，而Zookeeper用于基于虚拟机安装的Kafka进行HA保障。

Ingress Nginx在启动的时候可以指定如下两个configmap，所有需要暴露的TCP/UDP服务可以在这两个configmap里面指定：

暴露的zookeeper的TCP服务如下：