devbox
我家自动化
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【Kubernetes】k8s集群存储卷（pvc存储卷）

作者：我家自动化 | 2024-08-17 09:55:24

赞

踩

【Kubernetes】k8s集群存储卷（pvc存储卷）

目录

一、PVC存储卷

1.PV

2.PVC

3.StorageClass

4.PV和PVC的生命周期

二、案例

1.创建静态pv

1.1.配置nfs

1.2.创建pv

1.3.创建pvc

1.4.结合pod，将pv、pvc一起运行

2.创建动态pv

2.1.上传

2.2.创建 Service Account，用来管理 NFS Provisioner 在 k8s 集群中运行的权限，设置 nfs-client 对 PV，PVC，StorageClass 等的规则

2.3.创建 StorageClass，负责建立 PVC 并调用 NFS provisioner 进行预定的工作，并让 PV 与 PVC 建立关联

2.4.创建 PVC 和 Pod 测试

2.5.测试不备份

三、总结

一、PVC存储卷

1.PV

PV 全称叫做 Persistent Volume，持久化存储卷。它是用来描述或者说用来定义一个存储卷的，这

个通常都是由运维工程师来定义

2.PVC

PVC 的全称是 Persistent Volume Claim，是持久化存储的请求。它是用来描述希望使用什么样的

或者说是满足什么条件的 PV 存储。

PVC 的使用逻辑：在 Pod 中定义一个存储卷（该存储卷类型为 PVC），定义的时候直接指定大

小，PVC 必须与对应的 PV 建立关系，PVC 会根据配置的定义去 PV 申请，而 PV 是由存储空间

创建出来的。PV 和 PVC 是 Kubernetes 抽象出来的一种存储资源。

3.StorageClass

上面介绍的PV和PVC模式是需要运维人员先创建好PV，然后开发人员定义好PVC进行一对一的

Bond，但是如果PVC请求成千上万，那么就需要创建成千上万的PV，对于运维人员来说维护成本

很高，Kubernetes提供一种自动创建PV的机制，叫StorageClass，它的作用就是创建PV的模板。

创建 StorageClass 需要定义 PV 的属性，比如存储类型、大小等；另外创建这种 PV 需要用到的

存储插件，比如 Ceph 等。 有了这两部分信息，Kubernetes 就能够根据用户提交的 PVC，找到对

应的 StorageClass，然后 Kubernetes 就会调用 StorageClass 声明的存储插件，自动创建需要的

PV 并进行绑定

PV是集群中的资源。 PVC是对这些资源的请求，也是对资源的索引检查。

4.PV和PVC的生命周期

PV和PVC之间的相互作用遵循这个生命周期

Provisioning（配置）---> Binding（绑定）---> Using（使用）---> Releasing（释放） --->

Recycling（回收）

Provisioning，即 PV 的创建，可以直接创建 PV（静态方式），也可以使用 StorageClass 动态创建
Binding，将 PV 分配给 PVC
Using，Pod 通过 PVC 使用该 Volume，并可以通过准入控制StorageProtection（1.9及以前版本为PVCProtection） 阻止删除正在使用的 PVC
Releasing，Pod 释放 Volume 并删除 PVC
Recycling，回收 PV，可以保留 PV 以便下次使用，也可以直接从云存储中删除
根据这 5 个阶段，PV 的状态有以下 4 种

Available（可用）：表示可用状态，还未被任何 PVC 绑定
Bound（已绑定）：表示 PV 已经绑定到 PVC
Released（已释放）：表示 PVC 被删掉，但是资源尚未被集群回收
Failed（失败）：表示如果 PV 或 PVC 遇到无法解决的问题，例如配额不足、配置错误或者绑定过程中的异常情况，可能会进入 Failed 状态
一个PV从创建到销毁的具体流程如下：

一个PV创建完后状态会变成Available，等待被PVC绑定。
一旦被PVC邦定，PV的状态会变成Bound，就可以被定义了相应PVC的Pod使用。
Pod使用完后会释放PV，PV的状态变成Released。
变成Released的PV会根据定义的回收策略做相应的回收工作。有三种回收策略，Retain、Delete和Recycle。Retain就是保留现场，K8S集群什么也不做，等待用户手动去处理PV里的数据，处理完后，再手动删除PV。Delete策略，K8S会自动删除该PV及里面的数据。Recycle方式，K8S会将PV里的数据删除，然后把PV的状态变成Available，又可以被新的PVC绑定使用

二、案例

1.创建静态pv

1.1.配置nfs

192.168.10.121服务器配置nfs

  1. mkdir -p /data/volumes/v{1..5}
  2. vim /etc/exports
  3. /data/volumes/v1 192.168.10.0/24(rw,sync,no_root_squash)
  4. /data/volumes/v2 192.168.10.0/24(rw,sync,no_root_squash)
  5. /data/volumes/v3 192.168.10.0/24(rw,sync,no_root_squash)
  6. /data/volumes/v4 192.168.10.0/24(rw,sync,no_root_squash)
  7. /data/volumes/v5 192.168.10.0/24(rw,sync,no_root_squash)
  8.  
  9. exportfs -arv

1.2.创建pv

  1. vim demo1-pv.yaml
  2. apiVersion: v1
  3. kind: PersistentVolume
  4. metadata:      #由于 PV 是集群级别的资源，即 PV 可以跨 namespace 使用，所以 PV 的 metadata 中不用配置 namespace
  5.   name: pv001
  6. spec:
  7.   capacity:                               定义存储能力，一般用于设置存储空间
  8.     storage: 1Gi                          指定大小
  9.   accessModes:                            定义访问模式
  10.   - ReadWriteOnce
  11.   - ReadWriteMany
  12.   #persistentVolumeReclaimPolicy: Recycle 回收策略
  13.   #storageClassName: slow                 自定义存储类名称，此配置用于绑定具有相同类别的PVC和PV
  14.   nfs:                                    定义存储类型
  15.     path: /data/volumes/v1                定义挂载卷路径
  16.     server: 192.168.10.121                 定义服务器名称
  17. ---
  18. apiVersion: v1
  19. kind: PersistentVolume
  20. metadata:
  21.   name: pv002
  22. spec:
  23.   capacity:
  24.     storage: 2Gi
  25.   accessModes:
  26.   - ReadWriteOnce
  27.   #persistentVolumeReclaimPolicy: Recycle
  28.   #storageClassName: slow
  29.   nfs:
  30.     path: /data/volumes/v2
  31.     server: 192.168.10.121
  32. ---
  33. apiVersion: v1
  34. kind: PersistentVolume
  35. metadata:
  36.   name: pv003
  37. spec:
  38.   capacity:
  39.     storage: 2Gi
  40.   accessModes:
  41.   - ReadWriteOnce
  42.   - ReadWriteMany
  43.   #persistentVolumeReclaimPolicy: Recycle
  44.   #storageClassName: slow
  45.   nfs:
  46.     path: /data/volumes/v3
  47.     server: 192.168.10.121
  48. ---
  49. apiVersion: v1
  50. kind: PersistentVolume
  51. metadata:
  52.   name: pv004
  53. spec:
  54.   capacity:
  55.     storage: 4Gi
  56.   accessModes:
  57.   - ReadWriteOnce
  58.   - ReadWriteMany
  59.   #persistentVolumeReclaimPolicy: Recycle
  60.   #storageClassName: slow
  61.   nfs:
  62.     path: /data/volumes/v4
  63.     server: 192.168.10.121
  64. ---
  65. apiVersion: v1
  66. kind: PersistentVolume
  67. metadata:
  68.   name: pv005
  69. spec:
  70.   capacity:
  71.     storage: 5Gi
  72.   accessModes:
  73.   - ReadWriteOnce
  74.   - ReadWriteMany
  75.   #persistentVolumeReclaimPolicy: Recycle
  76.   #storageClassName: slow
  77.   nfs:
  78.     path: /data/volumes/v5
  79.     server: 192.168.10.121
  80. ---
  81.  
  82. kubectl apply -f demo1-pv.yaml

1.3.创建pvc

  1. vim demo2-pvc.yaml
  2. apiVersion: v1
  3. kind: PersistentVolumeClaim
  4. metadata:
  5.   name: mypvc001
  6. spec:
  7.   accessModes:
  8.   - ReadWriteMany
  9.   resources:
  10.     requests:
  11.       storage: 2Gi
  12.   #storageClassName: slow
  13. kubectl apply -f demo2-pvc.yaml
  1. kubectl apply -f demo2-pvc.yaml   #再以同样的文件创建pvc
  2. kubectl get pv,pvc
  3. #可以发现即使条件再匹配，也不会与原先处于released状态的pv匹配
  1. vim demo1-pv.yaml
  2. apiVersion: v1
  3. kind: PersistentVolume
  4. metadata:      #由于 PV 是集群级别的资源，即 PV 可以跨 namespace 使用，所以 PV 的 metadata 中不用配置 namespace
  5.   name: pv001
  6. spec:
  7.   capacity:                               定义存储能力，一般用于设置存储空间
  8.     storage: 1Gi                          指定大小
  9.   accessModes:                            定义访问模式
  10.   - ReadWriteOnce
  11.   - ReadWriteMany
  12.   #persistentVolumeReclaimPolicy: Recycle 回收策略
  13.   #storageClassName: slow                 自定义存储类名称，此配置用于绑定具有相同类别的PVC和PV
  14.   nfs:                                    定义存储类型
  15.     path: /data/volumes/v1                定义挂载卷路径
  16.     server: 192.168.10.121                定义服务器名称
  17. ---
  18. apiVersion: v1
  19. kind: PersistentVolume
  20. metadata:
  21.   name: pv002
  22. spec:
  23.   capacity:
  24.     storage: 2Gi
  25.   accessModes:
  26.   - ReadWriteOnce
  27.   #persistentVolumeReclaimPolicy: Recycle
  28.   #storageClassName: slow
  29.   nfs:
  30.     path: /data/volumes/v2
  31.     server: 192.168.10.121
  32. ---
  33. apiVersion: v1
  34. kind: PersistentVolume
  35. metadata:
  36.   name: pv003
  37. spec:
  38.   capacity:
  39.     storage: 2Gi
  40.   accessModes:
  41.   - ReadWriteOnce
  42.   - ReadWriteMany 
  43.   persistentVolumeReclaimPolicy: Recycle     #当设置指定访问策略为 Recycle
  44.   #storageClassName: slow
  45.   nfs:
  46.     path: /data/volumes/v3
  47.     server: 192.168.10.121
  48. ---
  49. apiVersion: v1
  50. kind: PersistentVolume
  51. metadata:
  52.   name: pv004
  53. spec:
  54.   capacity:
  55.     storage: 4Gi
  56.   accessModes:
  57.   - ReadWriteOnce
  58.   - ReadWriteMany
  59.   #persistentVolumeReclaimPolicy: Recycle
  60.   #storageClassName: slow
  61.   nfs:
  62.     path: /data/volumes/v4
  63.     server: 192.168.10.121
  64. ---
  65. apiVersion: v1
  66. kind: PersistentVolume
  67. metadata:
  68.   name: pv005
  69. spec:
  70.   capacity:
  71.     storage: 5Gi
  72.   accessModes:
  73.   - ReadWriteOnce
  74.   - ReadWriteMany
  75.   #persistentVolumeReclaimPolicy: Recycle
  76.   #storageClassName: slow
  77.   nfs:
  78.     path: /data/volumes/v5
  79.     server: 192.168.10.121
  80. ---
  81.  
  82. kubectl apply -f demo1-pv.yaml
  83. kubectl apply -f demo2-pvc.yaml
  84. kubectl get pv,pvc

1.4.结合pod，将pv、pvc一起运行

  1. apiVersion: v1
  2. kind: PersistentVolume
  3. metadata:
  4.   name: pv001
  5. spec:
  6.   capacity:
  7.     storage: 1Gi
  8.   accessModes:
  9.   - ReadWriteOnce
  10.   - ReadWriteMany
  11.   #persistentVolumeReclaimPolicy: Recycle
  12.   #storageClassName: slow
  13.   nfs:
  14.     path: /data/volumes/v1
  15.     server: 192.168.10.121
  16. ---
  17. apiVersion: v1
  18. kind: PersistentVolume
  19. metadata:
  20.   name: pv002
  21. spec:
  22.   capacity:
  23.     storage: 2Gi
  24.   accessModes:
  25.   - ReadWriteOnce
  26.   #persistentVolumeReclaimPolicy: Recycle
  27.   #storageClassName: slow
  28.   nfs:
  29.     path: /data/volumes/v2
  30.     server: 192.168.10.121
  31. ---
  32. apiVersion: v1
  33. kind: PersistentVolume
  34. metadata:
  35.   name: pv003
  36. spec:
  37.   capacity:
  38.     storage: 2Gi
  39.   accessModes:
  40.   - ReadWriteOnce
  41.   - ReadWriteMany
  42.   persistentVolumeReclaimPolicy: Recycle
  43.   #storageClassName: slow
  44.   nfs:
  45.     path: /data/volumes/v3
  46.     server: 192.168.10.121
  47. ---
  48. apiVersion: v1
  49. kind: PersistentVolume
  50. metadata:
  51.   name: pv004
  52. spec:
  53.   capacity:
  54.     storage: 4Gi
  55.   accessModes:
  56.   - ReadWriteOnce
  57.   - ReadWriteMany
  58.   persistentVolumeReclaimPolicy: Recycle
  59.   #storageClassName: slow
  60.   nfs:
  61.     path: /data/volumes/v4
  62.     server: 192.168.10.121
  63. ---
  64. apiVersion: v1
  65. kind: PersistentVolume
  66. metadata:
  67.   name: pv005
  68. spec:
  69.   capacity:
  70.     storage: 5Gi
  71.   accessModes:
  72.   - ReadWriteOnce
  73.   - ReadWriteMany
  74.   #persistentVolumeReclaimPolicy: Recycle
  75.   #storageClassName: liu
  76.   nfs:
  77.     path: /data/volumes/v5
  78.     server: 192.168.10.121
  79. ---
  80.  
  81.  
  82. kubectl apply -f demo1-pv.yaml
  83.  
  84. vim demo2-pvc.yaml
  85. apiVersion: v1
  86. kind: PersistentVolumeClaim
  87. metadata:
  88.   name: mypvc001
  89. spec:
  90.   accessModes:
  91.   - ReadWriteMany
  92.   resources:
  93.     requests:
  94.       storage: 2Gi
  95.   #storageClassName: liu
  96.  
  97. kubectl apply -f demo2-pvc.yaml
  1. vim demo3-pod.yaml
  2. apiVersion: v1
  3. kind: Pod
  4. metadata:
  5.   creationTimestamp: null
  6.   labels:
  7.     run: demo3
  8.   name: demo3-pod
  9. spec:
  10.   volumes:                     
  11.   - name: tan-vol
  12.     persistentVolumeClaim:
  13.       claimName: mypvc001         #创建的pvc名称
  14.   containers:
  15.   - image: soscscs/myapp:v1
  16.     name: demo
  17.     ports:
  18.     - containerPort: 80
  19.     resources: {}
  20.     volumeMounts:
  21.     - name: tan-vol
  22.       mountPath: /mnt/
  23.   dnsPolicy: ClusterFirst
  24.   restartPolicy: Always
  25. status: {}
  26.  
  27. kubectl apply -f demo3-pod.yaml

kubectl delete pod demo3-pod

2.创建动态pv

2.1.上传

  1. 上传nfs-client-provisioner.tar 、nfs-client.zip压缩包到master节点
  2.  
  3. 上传nfs-client-provisioner.tar到两个node节点

2.2.创建 Service Account，用来管理 NFS Provisioner 在 k8s 集群中运行的权限，设置 nfs-client 对 PV，PVC，StorageClass 等的规则

  1. master节点
  2. kubectl apply -f nfs-client-rbac.yaml
  3. kubectl get serviceaccounts
  1. vim /etc/kubernetes/manifests/kube-apiserver.yaml
  2.     - --feature-gates=RemoveSelfLink=false       #添加这一行
  3. 由于 1.20 版本禁用了 selfLink，所以 k8s 1.20+ 版本通过 nfs provisioner 动态生成 PV 会报错，需要添加
  4. cd /etc/kubernetes/manifests
  5. mv kube-apiserver.yaml /tmp/                #进行重启操作
  6. mv /tmp/kube-apiserver.yaml ./
  1. nfs服务器
  2. vim /etc/exports
  3. /opt/nfs 192.168.10.0/24(rw,sync,no_root_squash)
  4. exportfs -avr
  5. 两个node节点检查
  6.  
  7. #创建 NFS Provisioner
  8.  
  9. master节点
  10. cd /root/day9/pv
  11. vim nfs-client-provisioner.yaml
  12.  
  13. kubectl apply -f nfs-client-provisioner.yaml

2.3.创建 StorageClass，负责建立 PVC 并调用 NFS provisioner 进行预定的工作，并让 PV 与 PVC 建立关联

  1. vim nfs-client-storageclass.yaml
  2. apiVersion: storage.k8s.io/v1
  3. kind: StorageClass
  4. metadata:
  5.   name: nfs-client-storageclass
  6. provisioner: nfs-tan        #要与 nfs-client-provisioner.yaml中设置的一致
  7. parameters:
  8.   archiveOnDelete: "true"   #做数据备份
  9.  
  10. kubectl apply -f nfs-client-storageclass.yaml

2.4.创建 PVC 和 Pod 测试

  1. vim demo2-pvc.yaml
  2. apiVersion: v1
  3. kind: PersistentVolumeClaim
  4. metadata:
  5.   name: mypvc003
  6. spec:
  7.   accessModes:
  8.   - ReadWriteMany
  9.   resources:
  10.     requests:
  11.       storage: 2Gi
  12.   storageClassName: nfs-client-storageclass

2.5.测试不备份

  1. vim nfs-client-storageclass.yaml
  2.  
  3. kubectl delete -f nfs-client-storageclass.yaml && kubectl apply -f nfs-client-storageclass.yaml
  4. kubectl get pv,pvc
  1. vim pod.yaml
  2. apiVersion: v1
  3. kind: Pod
  4. metadata:
  5.   labels:
  6.     run: demo3
  7.   name: dem3-pod
  8. spec:
  9.   volumes:
  10.   - name: scj-vol
  11.     persistentVolumeClaim:
  12.       claimName: mypvc003
  13.   containers:
  14.   - image: soscscs/myapp:v1
  15.     name: myapp
  16.     ports:
  17.     - containerPort: 80
  18.     resources: {}
  19.     volumeMounts:
  20.     - name: scj-vol
  21.       mountPath: /mnt
  22.   dnsPolicy: ClusterFirst
  23.   restartPolicy: Always
  24. status: {}
  25.  
  26. kubectl apply -f pod.yaml
  27. kubectl exec -it dem3-pod -- sh
  28. cd /mnt
  29. echo '123456' > liu.txt
  1. kubectl delete pod dem3-pod
  2. kubectl delete pvc mypvc003  #删除查看是否备份

三、总结

静态PV创建的步骤：
1）准备好存储设备
2）准备创建PV资源的配置文件，定义访问模式(ReadWriteOnce、ReadOnlyMany、ReadWriteMany、ReadWriteOncePod)、最大存储空间、回收策略(Retain、Recycle、Delete)、存储设备类型等配置
3）准备创建PVC资源的配置文件，定义使用的访问模式(必要条件，必须是PV支持的访问模式)、请求的存储空间大小(默认就近选择大于等于指定大小的PV)等配置来绑定PV
4）准备创建Pod资源的配置文件，定义存储卷类型为PVC存储卷(persistentVolumeClaim)，并在容器配置中定义存储卷挂载点路径


动态PV创建的步骤：
1）准备好存储设备
2）如果是外置存储卷插件，需要先创建Pod使用的sa账户和RBAC授权（创建角色授予相关资源对象的操作权限，并将账户与角色绑定），使得sa账户具有对PV、PVC、SC等资源的操作权限
3）准备创建外置存储卷插件Pod资源的配置文件，定义serviceAccountName为上一步创建的sa账户，并设置容器的环境变量的值（比如存储卷插件名称，服务器地址等）
4）准备创建SC资源(StorageClass)的配置文件，设置 provisioner(存储卷插件名称)、parameters(PV的参数) 和 reclaimPolicy(PV的回收策略) 等字段配置
-------------------以上操作是一劳永逸的，创建好存储卷插件和StorageClass资源以后，只要创建PVC资源引用SC资源就可以自动触发存储卷插件动态创建PV资源-------------------
5）准备创建PVC资源的配置文件，定义使用的访问模式、请求的存储空间大小、storageClassName 等配置来动态创建PV资源并绑定PV
6）准备创建Pod资源的配置文件，定义存储卷类型为PVC存储卷(persistentVolumeClaim)，并在容器配置中定义存储卷挂载点路径

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/992251
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号