traefik | 伪架构师

掀起 Traefik 2 的盖头来

Sun, 22 Sep 2019 17:54:03 +0800

Traefik 2.0 发布也有几天了，根据通稿来看，有几个新的功能值得注意：

开始使用 CRD 来完成原本使用 Ingress + 注解来完成的任务。
加入了一个中间件概念，来提供丰富多样的控制能力。
终于支持 TCP 了。

我的测试集群中经常会使用 Traefik 做 Ingress，又有 Maesh 加入 Service Mesh 的暖场战之中，所以 Traefik 2.0 还是值得看看的。它的文档做的还不太完善，着实花了一段时间来摸索，这里做个记录，方便后续的使用和学习。

安装

我知道开篇说安装特别 Low，但是奇葩的是这个版本的安装文档居然只提到了一个 Docker 下的安装过程，只是在一个不起眼的角落里有一个针对 Kubernetes 环境的安装清单。

我做了一些修改，源码参见：

这里有一点需要注意的，Traefik 缺省开放三个端口：80、443 和 8080，其中 8080 是管理端口。建议将其分为两个服务，把管理端口和业务端口做个隔离，方便使用不同策略进行访问控制。另外 Configmap 中加入了访问日志方便调试，可酌情关闭。

例如下面把 Ingress 端口分配给 Loadbalancer，而管理端口仅设置为 ClusterIP。

---
apiVersion: v1
kind: Service
metadata:
  name: traefik-ingress
  namespace: traefik-system
  labels:
    app: traefik
spec:
  ports:
  - name: https
    protocol: TCP
    port: 443
    targetPort: 443
  - name: http
    protocol: TCP
    port: 80
    targetPort: 80
  type: LoadBalancer
  selector:
    app: traefik
---
apiVersion: v1
kind: Service
metadata:
  name: traefik-admin
  namespace: traefik-system
  labels:
    app: traefik
spec:
  ports:
  - name: admin
    protocol: TCP
    port: 8080
    targetPort: 8080
  type: ClusterIP
  selector:
    app: traefik
---

配置文件很简单，只要加入 Kubernetes 内部接口的端点即可：

providers:
  kubernetescrd:
    endpoint: https://kubernetes.default

然后给 80 和 443 端口所在的 Loadbalancer 提供一个域名，用于后续的规则设置。

部署测试服务

随便部署一个 HTTP 服务，例如 Istio 用到的 HTTPBIN

这个服务开放了 8000 端口提供 HTTP 服务，后面我们会用这个服务进行限流测试。

开放 Dashboard

前面把 Dashboard 的服务类型设置为 ClusterIP，创建一个 CRD 就能够通过 Traefik 开放服务了：

apiVersion: traefik.containo.us/v1alpha1
kind: IngressRoute
metadata:
  name: traefik-dashboard
spec:
  entryPoints:
    - web
  routes:
  - match: Host(`traefik.microservice.xyz`)
    kind: Rule
    services:
    - name: traefik-admin
      port: 8080

这里使用了一个表达式来对流量进行筛选，表达式目前的支持范围如下表所示：

接下来用了几个不同级别的对象：

entryPoints：开放端口，例如我们部署中的 web 或 websecure。
routes：路由规则。
match：一个匹配表达式，这里我们指定匹配域名 traefik.microservice.xyz
name 和 Port：此处使用 Service 的定义

提交之后，就可以使用指定域名访问 Dashboard 了：

当然了，这个并不重要。

开启一个插件

用同样的方法，给 HTTPBIN 开放一个路由：

apiVersion: traefik.containo.us/v1alpha1
kind: IngressRoute
metadata:
  name: httpbin
spec:
  entryPoints:
  - web
  routes:
  - kind: Rule
    match: Host(`httpbin.microservice.xyz`)
    services:
    - name: httpbin
      port: 8000

在路由定义中，可以使用插件，对该路由的进出流量进行处理，例如重定向、认证、重试等功能。

Ratelimit 的用法很简单，官网文档也有说明，我们模仿写一个：

apiVersion: traefik.containo.us/v1alpha1
kind: Middleware
metadata:
  name: httpbin-traffic
spec:
  rateLimit:
    burst: 1
    average: 2

其中的单位稍显死板，是 qps。但是怎么把这个对象加入到 Route 里面就不太明显了：

apiVersion: traefik.containo.us/v1alpha1
kind: IngressRoute
metadata:
  name: httpbin
...
    services:
    - name: httpbin
      port: 8000
    middlewares:
    - name: httpbin-traffic

提交之后，可以看看 Dashboard 去看看这条规则的详情：

这条路由的 Middleware 中加入了新的元素，下面可以测试一下：

$ siege httpbin.microservice.xyz/get
** SIEGE 4.0.4
** Preparing 25 concurrent users for battle.
The server is now under siege...
HTTP/1.1 200     1.68 secs:     398 bytes ==> GET  /get
HTTP/1.1 429     1.68 secs:      17 bytes ==> GET  /get
HTTP/1.1 429     1.68 secs:      17 bytes ==> GET  /get
HTTP/1.1 429     1.68 secs:      17 bytes ==> GET  /get
HTTP/1.1 429     1.68 secs:      17 bytes ==> GET  /get

看到极少出现 200 的响应码，多数都是 429，证明限流生效了。

废话

真是不知道 Kubernetes 用户哪里对不起 Traefik 了。。

使用 Let's Encrypt 轻松加固 Traefik Ingress Controller

Sun, 05 Nov 2017 06:49:52 +0800

Traefik 是一个现代 HTTP 反向代理和负载均衡服务器，支持众多后端（Docker、Swarm、Kubernetes、Marathon 等等）下的动态配置。

Ingress 是 Kubernetes 对外暴露服务的一种方式，可以通过域名、路径等方式，将外部请求转发给集群的内部服务。

Let’s Encrypt 是一个于数字证书认证机构，通过自动化方式免费提供 SSL/TLS 证书。

好了凑够一百字了应该，现在开始说正经事。

上面三个东西合起来的话，这篇文章的目的就很清楚了，找个免费的法子把 Kubernetes 的服务升级成高大上的 https。

准备工作

Ingress 首先需要一个域名来工作。
使用htdigest -c user.dat traefik guest命令，创建一个名为 guest 的用户，并存储在 user.dat 中，用于后面的密码验证。
为 Traefik 准备一个 PVC，用于存储 ACME 生成的认证文件，这里我们命名为 traefik。
- 加载这一 PVC，并在其中生成空文件acme.json。
- chmod 600 acme.json。

部署 Traefik

RBAC

在启用了 RBAC 的集群上，需要首先为 Traefik 创建相关的角色绑定：

https://github.com/containous/traefik/tree/master/examples/k8s/traefik-rbac.yaml

Configmap

创建配置文件：

# 开放两个 Ingress 端口
defaultEntryPoints = ["http", "https"]
logLevel = "INFO"

# 启用 Kubernetes 支持
[kubernetes]

# 启用 Web Dashboard
[web]
address = ":8080"

[entryPoints]
  [entryPoints.http]
  address = ":80"
    # http 访问自动转向到 https
    [entryPoints.http.redirect]
    entryPoint = "https"
  [entryPoints.https]
  address = ":443"
  [entryPoints.https.auth.digest]
    # 这一内容来自前面生成的 user.dat，所有服务都启用这一验证
    users = ["supervisor:traefik:a47ec349f54a92ba4b00a740950384f7"]
    [entryPoints.https.tls]

# Let's Encrypt 配置
[acme]

email = "acme@fleeto.us"
# 刚才我们 PVC 中的文件
storage = "/var/data/acme.json"
entryPoint = "https"

# 生成这些域名的证书
[[acme.domains]]
main = "fake-domain.com"
sans = ["traefik.fake-domain.com", "kibana.fake-domain.com", "prometheus.fake-domain.com", "grafana.fake-domain.com", "traefik.fake-domain.com",  "other.fake-domain.com"]

使用配置文件创建一个 ConfigMap

kubectl create cm traefik --from-file config.toml --dry-run -o yaml > config.map.yaml
kubectl apply -f config.map.yaml

Workload

官方网站提供了 Deployment 和 DaemonSet 两种形式的部署方案，这里我们使用 Deployment，因为涉及到 ACME 的存储，以及一些认证配置，所以这里我们需要对其进行一些修改：

源文件：https://github.com/containous/traefik/tree/master/examples/k8s/traefik-deployment.yaml

# 参数修改为
args:
  - -c
  - /etc/traefik/config.toml

# 加载 PVC 和配置文件
volumeMounts:
- name: config
  mountPath: /etc/traefik
- name: data
  mountPath: /var/data
volumes:
- name: config
configMap:
  name: traefik
- name: data
persistentVolumeClaim:
  claimName: traefik

Service

前面提到 Traefik 自带一个 Dashboard，我们不希望他随意暴露，因此这里拆分为两个服务：

# Ingress
kind: Service
apiVersion: v1
metadata:
  name: traefik-ingress-service
  namespace: kube-system
spec:
  selector:
    k8s-app: traefik-ingress-lb
  ports:
    - protocol: TCP
      port: 80
      name: http
    - protocol: TCP
      port: 443
      name: https
  type: LoadBalancer
---
# Dashboard
kind: Service
apiVersion: v1
metadata:
  name: traefik-admin-service
  namespace: kube-system
spec:
  selector:
    k8s-app: traefik-ingress-lb
  ports:
    - protocol: TCP
      port: 8080
  type: ClusterIP

使用 Kubectl 运行之后，等待 Pod 启动。

创建 Ingress Resource

我们为traefik-admin-service启用域名为traefik.fake-domain.com的 Ingress：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: traefik
spec:
  tls:
  - hosts:
    - traefik.fake-domain.com
  rules:
  - host: traefik.fake-domain.com
    http:
      paths:
      - path: /
        backend:
          serviceName: traefik-admin-service
          servicePort: 8080

Ingress 资源创建之后，我们可以使用http://traefik.fake-domain.com访问这一服务，会看到根据我们的定义：

发生了重定向，并成功转向 https 端口；
https 证书是 Let’s Encrypt 发放的权威证书；
弹出了认证窗口，输入之前我们定义的用户名密码，就能够看到 Traefik 的 Dashboard 页面了。

实际上还可以使用 ETCD 等 KV 数据库来作为 Traefik 的存储后端，就省掉了一个卷的麻烦了。