Kubernetes EKS Ingress 和 TLS

Question

我正在尝试完成一个非常常见的应用任务：

分配证书并使用TLS/HTTPS进行安全保护。

我花了近一天时间查找文档并尝试多种不同的策略来使其工作，但对我来说什么都没用。

最初，我按照这里的文档设置了在EKS上使用Helm的nginx-ingress：https://github.com/nginxinc/kubernetes-ingress。我尝试使用以下配置来使示例应用程序(cafe)工作：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: cafe-ingress
spec:
  tls:
  - hosts:
    - cafe.example.com
    secretName: cafe-secret
  rules:
  - host: cafe.example.com
    http:
      paths:
      - path: /tea
        backend:
          serviceName: tea-svc
          servicePort: 80
      - path: /coffee
        backend:
          serviceName: coffee-svc
          servicePort: 80

虽然入口和所有支持的服务/部署都正常工作，但有一件重要的事情缺失：入口没有关联的地址/ELB：

NAME           HOSTS                 ADDRESS   PORTS     AGE
cafe-ingress   cafe.example.com                80, 443   12h

服务负载均衡器会创建 ELB 资源，即：

testnodeapp    LoadBalancer   172.20.4.161     a64b46f3588fe...   80:32107/TCP     13h

然而，Ingress不会创建地址。我该如何在EKS上将Ingress控制器暴露在外部以处理TLS / HTTPS？

- Ken J

Answer 1

我已经复制了每个必要的步骤，以便在EKS上使用安全入口快速运行。我希望这可以帮助任何想快速且安全地将他们的应用程序放到EKS上的人。

要在EKS上运行：

1. 使用CloudFormation模板（此处）部署EKS：请记住，我使用CidrIp：193.22.12.32/32限制了访问权限。请根据自己的需求更改。

2. 安装客户端工具。请遵循此处的指南。

3. 配置客户端。请遵循此处的指南。
4. 启用工作节点。请遵循此处的指南。

您可以通过运行以下命令验证集群正在运行并且您正在指向它：

kubectl get svc

现在，您可以通过nginx入口启动一个测试应用程序。

注意：所有内容都放置在ingress-nginx命名空间下。理想情况下，这将被模板化以构建不同的命名空间，但是对于此示例，它可以工作。

部署nginx入口：

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/mandatory.yaml
kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/provider/cloud-generic.yaml

从这里获取 rbac.yml 文件。运行:

kubectl apply -f rbac.yml

准备好用于测试的证书和密钥。创建所需的secret，像这样：

kubectl create secret tls cafe-secret --key mycert.key --cert mycert.crt -n ingress-nginx

从这里复制 coffee.yml 文件。从这里复制 coffee-ingress.yml 文件。更新您想在下面运行此文件的域名。按如下方式运行它们

kubectl apply -f coffee.yaml
kubectl apply -f coffee-ingress.yaml

更新您的域名的CNAME指向地址为：

kubectl get ing -n ingress-nginx -o wide

刷新DNS缓存并测试域名。您应该得到一个带有请求统计信息的安全页面。我已经多次复制了这个过程，所以如果它对您不起作用，请检查步骤、配置和证书。此外，请检查nginx-ingress-controller* pod的日志。

kubectl logs pod/nginx-ingress-controller-*********** -n ingress-nginx

这应该能给您一些线索。

- Ken J

---

看起来https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/mandatory.yaml中已经包含了ClusterRole和Binding。不确定您的rbac.yml是否需要。@ken-j能否确认一下？ - sgraham

当我这样做时，地址字段为空。 - Dan Tenenbaum

Answer 2

为了让Ingress资源正常工作，集群必须配置Ingress控制器。

这与其他类型的控制器不同，其他类型的控制器通常作为kube-controller-manager二进制文件的一部分运行，并且通常作为集群创建的一部分自动启动。

对于使用helm的EKS，您可以尝试：

helm registry install quay.io/coreos/alb-ingress-controller-helm

接下来，配置Ingress资源：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: test-ingress
  annotations:
    kubernetes.io/ingress.class: nginx
    kubernetes.io/tls-acme: 'true'
spec:
  rules:
  - host: YOUR_DOMAIN
    http:
      paths:
      - path: /
        backend:
          serviceName: ingress-example-test
          servicePort: 80
  tls:
  - secretName: custom-tls-cert
    hosts:
    - YOUR_DOMAIN

应用配置：

kubectl create -f ingress.yaml

接下来，使用TLS证书创建密钥：

kubectl create secret tls custom-tls-cert --key /path/to/tls.key --cert /path/to/tls.crt

并在Ingress定义中引用它们：

tls:
  - secretName: custom-tls-cert
    hosts:
    - YOUR_DOMAIN

以下是配置示例，展示如何配置Ingress控制器：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nginx-ingress-controller
  labels:
    k8s-app: nginx-ingress-controller
spec:
  replicas: 1
  selector:
    matchLabels:
      k8s-app: nginx-ingress-controller
  template:
    metadata:
      labels:
        k8s-app: nginx-ingress-controller
    spec:
      # hostNetwork makes it possible to use ipv6 and to preserve the source IP correctly regardless of docker configuration
      # however, it is not a hard dependency of the nginx-ingress-controller itself and it may cause issues if port 10254 already is taken on the host
      # that said, since hostPort is broken on CNI (https://github.com/kubernetes/kubernetes/issues/31307) we have to use hostNetwork where CNI is used
      # like with kubeadm
      # hostNetwork: true
      terminationGracePeriodSeconds: 60
      containers:
      - image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.17.1
        name: nginx-ingress-controller
        readinessProbe:
          httpGet:
            path: /healthz
            port: 10254
            scheme: HTTP
        livenessProbe:
          httpGet:
            path: /healthz
            port: 10254
            scheme: HTTP
          initialDelaySeconds: 10
          timeoutSeconds: 1
        ports:
        - containerPort: 80
          hostPort: 80
        - containerPort: 443
          hostPort: 443
        env:
          - name: POD_NAME
            valueFrom:
              fieldRef:
                fieldPath: metadata.name
          - name: POD_NAMESPACE
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace
        args:
        - /nginx-ingress-controller
        - --default-backend-service=$(POD_NAMESPACE)/default-http-backend
        - --publish-service=$(POD_NAMESPACE)/nginx-ingress-lb

接下来，应用上述配置，然后您可以检查外部 IP 暴露的服务：

kubectl get service nginx-controller -n kube-system

外部 IP 是一种地址，它通过外部配置的路由机制终止于 Kubernetes 节点之一。当在服务定义中进行配置时，一旦请求到达节点，流量将被重定向到服务端点。

Kubernetes 文档 提供了更多示例。

- d0bry

---

你的回答不够清晰。yaml 中未定义 nginx-controller。nginx-controller 是如何创建的？ - Ken J

您还未为kube-system定义命名空间。alb-ingress-controller-helm并不会创建此服务。 - Ken J