kustomize/kubectl自动镜像部署&&互联网企业规范化上线流程（下） —— k8s从入门到高并发系列教程（七）_kustomize edit set image

作者：小惠珠哦 | 2024-08-07 13:28:39

踩

kustomize edit set image

通过前面的学习，我们可以做到当分支被合并到master时，程序自动打包出包含最新代码的docker镜像，并用commitid给镜像打了个tag。然而仅仅拥有docker镜像并不够，企业使用的是k8s环境，需要持续的把最新镜像的地址更新到k8s的yaml文件中，真正线上执行部署的是k8s的yaml文件。

当线上环境的镜像重新生成新的时，我们希望有一个工具能够自动帮我们完成这些修改， kustomize 便应运而生。它基于 kustomization.yaml 文件修改镜像，kustomization.yaml 包含对需要执行的子k8s yaml文件的引用，kustomize build 命令可以把 kustomization.yaml 文件内容翻译成可以被k8s所理解、可执行的配置文件。

真正执行线上部署的是 kubectl 工具，它读取 ~/.kube/config 文件的信息，用于和k8s集群的通信，读取k8s 的yaml文件，发送到k8s集群进行执行。

安装kubectl和kustomize工具

在我们的docker-mybasic项目的dockerfile文件中加入以下内容，以下载安装这两个工具，同时拷贝k8s集群的kubeconfig文件到gitlab的部署镜像中


# 安装curl命令，供下面流程安装工具软件
RUN apk add --no-cache curl
 
# 拷贝kubeconfig文件内容到镜像中，作为kubectl和集群通信的工具
COPY kubeconfig/config /root/.kube/config
 
# 安装kubectl
RUN curl -L "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl" -o /usr/local/bin/kubectl \
    && chmod +x /usr/local/bin/kubectl
 
# 安装kustomize
RUN curl -Lo /usr/local/bin/kustomize https://github.com/kubernetes-sigs/kustomize/releases/download/v3.2.0/kustomize_3.2.0_linux_amd64 \
    && chmod +x /usr/local/bin/kustomize

因为我的电脑处理器是arm64的，上面下载的kubectl 和 kustomize 是基于amd64处理器，无法使用，于是更改下载地址如下

curl -L "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/arm64/kubectl" -o /usr/local/bin/kubectl


curl -Lo /tmp/kustomize.tar.gz https://ghproxy.com/https://github.com/kubernetes-sigs/kustomize/releases/download/kustomize%2Fv4.5.7/kustomize_v4.5.7_linux_arm64.tar.gz \
    && cd /tmp && tar zxvf kustomize.tar.gz && mv kustomize /usr/local/bin

这样，我们的mydocker镜像就有能力执行kustomize命令以及部署yaml文件到线上了

deployments和services

test_cd项目是由运维负责的和具体环境部署相关的文件集合，我们在test_api和test_client1的k8s文件夹中创建 deployments 和 services 文件夹，deployments文件夹中的api.yaml文件内容如下：


apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: test-api
  name: test-api
spec:
  selector:
    matchLabels:
      app: test-api
  template:
    metadata:
      labels:
        app: test-api
    spec:
      containers:
        - name: test-api
          image: dockerhub.qingcloud.com/mustafa_project/test_api_product
          ports:
            - containerPort: 80
              name: tcp
          resources:
            requests:
              cpu: 20m
              memory: 128Mi
            limits:
              cpu: 500m
              memory: 512Mi
      imagePullSecrets:
        - name: docker-qingcloud-secret

deployments是负责管理images的单元，这个deployment包含的image不用写tag，tag可以在kustomize命令中程序自动生成。使用 docker-qingcloud-secret 这个私钥拉取镜像，私钥的配置方式如下：

kubectl create secret docker-registry docker-qingcloud-secret --docker-server=dockerhub.qingcloud.com --docker-username=*** --docker-password=**** -n test-project1

servies是deployments对外暴露的端口，services中的api.yaml文件内容如下：


apiVersion: v1
kind: Service
metadata:
  name: test-api
spec:
  ports:
    - name: http-api
      protocol: TCP
      port: 80
      targetPort: 80
  selector:
    app: test-api

kustomization.yaml文件

文件在k8s目录下，这个文件记录了线上部署依赖哪些子配置文件，内容如下：


apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
 
namespace: test-project1
 
resources:
- ./k8s/deployments/api.yaml
- ./k8s/services/api.yaml

可以看出，包含了一个deployment文件和一个service文件

kustomize build命令可以读取这个文件，生成一个完整的，k8s能够理解的配置文件

kustomize edit set image 命令可以修改kustomization.yaml文件，把deployments中的images进行字符串替换

kustomize 命令

在test_api项目的.gitlab-ci.yaml文件代码发送到cd项目这块，加入以下代码，可以实现当分支合并到main分支后，修改kustomize文件的image为最新image的tag，git提交推送test_cd项目，解释kustomization.yaml文件并通过kubectl执行部署


    - kustomize edit set image $docker_url/mustafa_project/$CI_PROJECT_NAME"_"$ENV=$docker_url/mustafa_project/$CI_PROJECT_NAME"_"$ENV:$CI_COMMIT_SHA
    - git commit -am "修改镜像版本号$CI_COMMIT_SHA" && git push origin $ENV
    - kustomize build | kubectl apply -f -

kustomize edit命令修改镜像版本号为我们当前的commitid

kustomize build 解释我们上面编写的kustomization.yaml文件，为k8s可以理解的文件

kubectl apply -f - 根据kubeclt的配置文件，进行k8s相应的部署过程

你会发现，kustomization.yaml文件是真正和线上部署一一对应的配置文件。这样，每当分支被合并到master时候，会导致kustomization.yaml文件中相关镜像的修改，并将该修改直接发布上线、

kustomize/kubectl自动镜像部署&&互联网企业规范化上线流程（下） —— k8s从入门到高并发系列教程 （七）_kustomize edit set image

安装kubectl和kustomize工具

deployments和services

kustomization.yaml文件

kustomize 命令

相关链接

kustomize/kubectl自动镜像部署&&互联网企业规范化上线流程（下） —— k8s从入门到高并发系列教程（七）_kustomize edit set image