kubernetes存储之Volumes配置管理

    技术2022-07-10  156

    一、简介

    Volumes主要作用是:将数据和镜像进行结耦。 容器中的文件在磁盘上是临时存放的,这给容器中运行的特殊应用程序带来一些问题。首先,当容器崩溃时,kubelet 将重新启动容器,容器中的文件将会丢失,因为容器会以干净的状态重建。其次,当在一个 Pod 中同时运行多个容器时,常常需要在这些容器之间共享文件。例如有些init容器运行完成后所产生的数据可能是其他容器所需要的 Kubernetes 抽象出 Volume 对象来解决这两个问题。 Kubernetes 卷具有明确的生命周期,与包裹它的 Pod 相同。 因此,卷比 Pod 中运行的任何容器的存活期都长,在容器重新启动时数据也会得到保留。 当然,当一个 Pod 不再存在时,卷也将不再存在。也许更重要的是,Kubernetes 可以支持许多类型的卷,Pod 也能同时使用任意数量的卷。 卷不能挂载到其他卷,也不能与其他卷有硬链接。 Pod 中的每个容器必须独立地 指定每个卷的挂载位置。 Kubernetes 支持下列类型的卷: awsElasticBlockStore 、azureDisk、azureFile、cephfs、cinder、configMap、csi downwardAPI、emptyDir、fc (fibre channel)、flexVolume、flocker gcePersistentDisk、gitRepo (deprecated)、glusterfs、hostPath、iscsi、local、 nfs、persistentVolumeClaim、projected、portworxVolume、quobyte、rbd scaleIO、secret、storageos、vsphereVolume

    二、emptyDir

    当 Pod 指定到某个节点上时,首先创建的是一个 emptyDir 卷,并且只要 Pod 在该节点上运行,卷就一直存在。 就像它的名称表示的那样,卷最初是空的。 尽管Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同,但是这些容器都可以读写 emptyDir 卷中相同的文件。 当 Pod 因为某些原因被从节点上删除时,emptyDir 卷中的数据也会永久删除。 emptyDir 的使用场景: • 缓存空间,例如基于磁盘的归并排序。 • 为耗时较长的计算任务提供检查点,以便任务能方便地从崩溃前状态恢复执行。 • 在 Web 服务器容器服务数据时,保存内容管理器容器获取的文件。 默认情况下, emptyDir 卷存储在支持该节点所使用的介质上;这里的介质可以是磁盘或 SSD 或网络存储,这取决于您的环境。 但是,您可以将 emptyDir.medium 字段设置为 “Memory”,以告诉 Kubernetes 为您安装 tmpfs(基于内存的文件系统)。 虽然tmpfs 速度非常快,但是要注意它与磁盘不同。 tmpfs 在节点重启时会被清除,并且您所写入的所有文件都会计入容器的内存消耗,受容器内存限制约束。

    同一个卷被一个pod内的多个容器挂载到不同的路径下,但是数据是同步的 创建的pod中有两个容器,共享卷和网络 exec指令默认链接pod中的第一个容器,但是通过curl能够访问到在第一个容器中更改的内容,说明一个pod中是共享卷的 在容器中消耗节点内存超过限制时,pod会被驱逐,但是这个过程不是实时的,跳过了k8s的监管,节点中的内存会在某段时间内被消耗,只有检测到pod才会被处理,因此使用会有一定的风险

    emptydir缺点: • 不能及时禁止用户使用内存。虽然过1-2分钟kubelet会将Pod挤出,但是这个时间内,其实对node还是有风险的; • 影响kubernetes调度,因为empty dir并不涉及node的resources,这样会造成Pod“偷偷” 使用了node的内存,但是调度器并不知晓; • 用户不能及时感知到内存不可用

    三、hostPath

    就是本地卷,在容器中可以直接访问宿主机的路径。hostPath 卷能将主机节点文件系统上的文件或目录挂载到您的 Pod 中。 虽然这不是大多数 Pod需要的,但是它为一些应用程序提供了强大的逃生舱。 例如在容器中跑了一个监控进程,这个进程如何取得节点信息,就可以将节点信息挂接到容器中 hostPath 的一些用法有: • 运行一个需要访问 Docker 引擎内部机制的容器,挂载 /var/lib/docker 路径。 • 在容器中运行 cAdvisor 时,以 hostPath 方式挂载 /sys。 • 允许 Pod 指定给定的 hostPath 在运行 Pod 之前是否应该存在,是否应该创建以及应该以 什么方式存在。 除了必需的 path 属性之外,用户可以选择性地为 hostPath 卷指定 type。 当使用这种类型的卷时要小心,因为: • 具有相同配置(例如从 podTemplate 创建)的多个 Pod 会由于节点上文件的不同而在不同节点上有不同的行为。 • 当 Kubernetes 按照计划添加资源感知的调度时,这类调度机制将无法考虑由 hostPath 使 用的资源。 • 基础主机上(宿主机)创建的文件或目录只能由 root 用户写入。您需要在 特权容器 中以 root 身份运行进程,或者修改主机上的文件权限以便容器能够写入 hostPath 卷。

    pod可能会被调度到server2或者server3上,但是此时这两个节点上均没有/data这个目录 pod被调度到server3上了,该节点上自动创建了/data目录 修改挂载点 访问没有页面因为/data挂载上去之后覆盖了原来的页面,此时/data是空的 在server3中写入内容 再次访问可以看到写入的内容

    四、nfs

    将nfs挂载到nginx默认发布页面,此时只要nfs中的内容不变,当调度节点改变时,访问到的内容不变

    五、PersistentVolume

    PersistentVolume(持久卷,简称PV)是集群内,由管理员提供的网络存储的一部分。就像集群中的节点一样,PV也是集群中的一种资源。它也像Volume一样,是一种volume插件,但是它的生命周期却是和使用它的Pod相互独立的。PV这个API对象,捕获了诸如NFS、ISCSI、或其他云存储系统的实现细节。 PersistentVolumeClaim(持久卷声明,简称PVC)是用户的一种存储请求。它和Pod类似,Pod消耗Node资源,而PVC消耗PV资源。Pod能够请求特定的资源(如CPU和存)。PVC能够请求指定的大小和访问的模式(可以被映射为一次读写或者多次只读)。 有两种PV提供的方式:静态和动态。 • 静态PV:集群管理员创建多个PV,它们携带着真实存储的详细信息,这些存储对于集群用户是可用的。它们存在于Kubernetes API中,并可用于存储使用。 • 动态PV:当管理员创建的静态PV都不匹配用户的PVC时,集群可能会尝试专门地供给 volume给PVC。这种供给基于StorageClass。 • PVC与PV的绑定是一对一的映射。没找到匹配的PV,那么PVC会无限期得处于unbound未绑定状态。 使用 Pod使用PVC就像使用volume一样。集群检查PVC,查找绑定的PV,并映射PV给Pod。对 于支持多种访问模式的PV,用户可以指定想用的模式。一旦用户拥有了一个PVC,并且 PVC被绑定,那么只要用户还需要,PV就一直属于这个用户。用户调度Pod,通过在Pod的 volume块中包含PVC来访问PV。 释放 当用户使用PV完毕后,他们可以通过API来删除PVC对象。当PVC被删除后,对应的PV就 被认为是已经是“released”了,但还不能再给另外一个PVC使用。前一个PVC的属于还存 在于该PV中,必须根据策略来处理掉。 回收 PV的回收策略告诉集群,在PV被释放之后集群应该如何处理该PV。当前,PV可以被 Retained(保留)、 Recycled(再利用)或者Deleted(删除)。保留允许手动地再次声明 资源。对于支持删除操作的PV卷,删除操作会从Kubernetes中移除PV对象,还有对应的外 部存储(如AWS EBS,GCE PD,Azure Disk,或者Cinder volume)。动态供给的卷总是 会被删除。 访问模式 • ReadWriteOnce – 该volume只能被单个节点以读写的方式映射 • ReadOnlyMany – 该volume可以被多个节点以只读方式映射 • ReadWriteMany – 该volume可以被多个节点以读写的方式映射 在命令行中,访问模式可以简写为: • RWO - ReadWriteOnce • ROX - ReadOnlyMany • RWX - ReadWriteMany 回收策略 • Retain:保留,需要手动回收 • Recycle:回收,自动删除卷中数据 • Delete:删除,相关联的存储资产,如AWS EBS,GCE PD,Azure Disk,or OpenStack Cinder卷都会被删除 当前,只有NFS和HostPath支持回收利用,AWS EBS,GCE PD,Azure Disk,or OpenStack Cinder卷支持删除操作。 状态: • Available:空闲的资源,未绑定给PVC • Bound:绑定给了某个PVC • Released:PVC已经删除了,但是PV还没有被集群回收 • Failed:PV在自动回收中失败了 • 命令行可以显示PV绑定的PVC名称。 创建pvc,存储类和访问模式要和pv一致,大小不能超过pv大小 访问的也是/nfsdata中的内容 更改容器中的内容

    六、NFS动态分配PV

    做认证授权的rbac文件 更改文件系统设置 部署NFS Client Provisioner

    apiVersion: apps/v1 kind: Deployment metadata: name: nfs-client-provisioner labels: app: nfs-client-provisioner namespace: default spec: replicas: 1 strategy: type: Recreate selector: matchLabels: app: nfs-client-provisioner template: metadata: labels: app: nfs-client-provisioner spec: serviceAccountName: nfs-client-provisioner containers: - name: nfs-client-provisioner image: quay.io/external_storage/nfs-client-provisioner volumeMounts: - name: nfs-client-root mountPath: /persistentvolumes env: - name: PROVISIONER_NAME value: westos.org/nfs - name: NFS_SERVER value: 172.20.10.4 - name: NFS_PATH value: /nfsdate volumes: - name: nfs-client-root nfs: server: 172.20.10.4 path: /nfsdata

    创建 NFS SotageClass 创建PVC: 创建测试pod 创建 namespace名字+pvc名字+pv名字 默认的 StorageClass 将被用于动态的为没有特定 storage class 需求的PersistentVolumeClaims 配置存储:(只能有一个默认StorageClass)如果没有默认StorageClass,PVC 也没有指定storageClassName 的值,那么意味着它只能够跟 storageClassName 的 PV 进行绑定。 当PVC 不指定storageClassName 的值 不能够创建pv,加上默认的StorageClass后才可以

    Processed: 0.008, SQL: 9