emptyDir卷
当 Pod 指定到某个节点上时,首先创建的是一个 emptyDir 卷,并且只要 Pod 在该节点上运行,卷就一直存在。 就像它的名称表示的那样,卷最初是空的。 尽管Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同,但是这些容器都可以读写 emptyDir 卷中相同的文件。 当 Pod 因为某些原因被从节点上删除时,emptyDir 卷中的数据也会永久删除。emptyDir 的使用场景:
缓存空间,例如基于磁盘的归并排序。为耗时较长的计算任务提供检查点,以便任务能方便地从崩溃前状态恢复执行。在 Web 服务器容器服务数据时,保存内容管理器容器获取的文件。默认情况下, emptyDir 卷存储在支持该节点所使用的介质上;这里的介质可以是磁盘或 SSD 或网络存储,这取决于您的环境。 但是,您可以将 emptyDir.medium 字段设置为 “Memory”,以告诉 Kubernetes 为您安装 tmpfs(基于内存的文件系统)。虽然tmpfs 速度非常快,但是要注意它与磁盘不同。 tmpfs 在节点重启时会被清除,并且您所写入的所有文件都会计入容器的内存消耗,受容器内存限制约束。
示例:
apiVersion: v1 kind: Pod metadata: name: vol1 spec: containers: - name: vm1 image: busyboxplus command: ["sleep", "300"] volumeMounts: - mountPath: /cache name: cache-volume //挂载 - name: vm2 image: nginx volumeMounts: - mountPath: /usr/share/nginx/html //挂载到nginx发布页面 name: cache-volume //挂载 volumes: - name: cache-volume //卷名称 emptyDir: medium: Memory //可以不指定使用内存,这两行可以省略 sizeLimit: 100Mi //卷被一个pod的多个容器挂载到了不同的路径,但是他们数据是同步的 [root@server2 vol]# kubectl apply -f vol1.yml pod/vol1 created [root@server2 vol]# kubectl get pod -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES my-nginx-7f45d597d5-9hk7h 1/1 Running 0 2m37s 10.244.141.221 server3 <none> <none> vol1 2/2 Running 0 31s 10.244.22.21 server4 <none> <none> [root@server2 vol]# curl 10.244.22.21 <html> <head><title>403 Forbidden</title></head> <body> <center><h1>403 Forbidden</h1></center> <hr><center>nginx/1.19.0</center> </body> //说明服务是没有问题的他们之间共享网络栈,而且共享卷,目前是空卷,所以我们去创建数据。
[root@server2 vol]# kubectl exec -it vol1 -c vm1 -- sh //登进pod的vm容器 Defaulting container name to vm1. Use 'kubectl describe pod/vol1 -n default' to see all of the containers in this pod. / # cd cache/ /cache # ls /cache # echo woaini > index.html /在容器一的挂载目录创建文件 /cache # [root@server2 vol]# curl 10.244.22.21 woaini却可以通过容器二的nginx服务访问到了。说明通过卷在做数据共享。
我们的卷使用的是物理内存,直接消耗系统当中的内存量。 当前pod挂载在server4上,它的内存还有:
[root@server4 ~]# free -m total used free shared buff/cache available Mem: 1999 368 832 18 797 1445 /还有这些 Swap: 0 0 0我们现在测试刚才设置的内存限制。
[root@server2 vol]# kubectl exec -it vol1 -c vm1 -- sh / # cd cache/ /cache # dd if=/dev/zero of=bigfile bs=1M count=100 100+0 records in 100+0 records out [root@server4 ~]# free -m total used free shared buff/cache available Mem: 1999 377 723 118 897 1336 /少了100M Swap: 0 0 0 /cache # dd if=/dev/zero of=bigfile bs=1M count=200 /在截取200M 300+0 records in 300+0 records out [root@server4 ~]# free -m total used free shared buff/cache available Mem: 1999 374 526 318 1098 1139 /少了200M Swap: 0竟然也能成功,我们不是设置了最多100M吗。
/cache # command terminated with exit code 137 这是我们的pod突然退出了 ^C[root@server2 vol]# kubectl get pod NAME READY STATUS RESTARTS AGE my-nginx-7f45d597d5-9hk7h 1/1 Running 0 15m vol1 0/2 Evicted 0 12m [root@server4 ~]# free -m total used free shared buff/cache available Mem: 1999 352 850 17 796 1462 /内存归还了 Swap: 0 可以看到文件超过sizeLimit,则一段时间后(1-2分钟)会被kubelet evict掉。之所以不是“立即”被evict,是因为kubelet是定期进行检查的,这里会有一个时间差。一段时间后 kubelet 识别到它已经超出了内存限制,就把她驱逐了。但是为什么这样的操作可以执行哪,我们发现刚才的操作已经跳过了k8s的监管,这就说明在使用内存当作卷的存储时,是具有风险的,做的限制也不是事时的。
emptydir缺点: 不能及时禁止用户使用内存。虽然过1-2分钟kubelet会将Pod挤出,但是这个时间内,其实 对node还是有风险的;影响kubernetes调度,因为empty dir并不涉及node的resources,这样会造成Pod“偷偷” 使用了node的内存,但是调度器并不知晓;用户不能及时感知到内存不可用可以用于监控容器,把主机的文件挂接到pod中,通过pod中的监控进行识别。
hostPath 的一些用法有:
运行一个需要访问 Docker 引擎内部机制的容器,挂载 /var/lib/docker 路径。 在容器中运行 cAdvisor (监控)时,以 hostPath 方式挂载 /sys。允许 Pod 指定给定的 hostPath 在运行 Pod 之前是否应该存在,是否应该创建以及应该以 什么方式存在。除了必需的 path 属性之外,用户可以选择性地为 hostPath 卷指定 type。
当使用这种类型的卷时要小心,因为: 具有相同配置(例如从 podTemplate 创建)的多个 Pod 会由于节点上文件的不同而在不同 节点上有不同的行为。当 Kubernetes 按照计划添加资源感知的调度时,这类调度机制将无法考虑由 hostPath 使 用的资源。基础主机上创建的文件或目录只能由 root 用户写入。您需要在 特权容器 中以 root 身份运 行进程,或者修改主机上的文件权限以便容器能够写入 hostPath 卷。示例:
[root@server2 vol]# vim vol1.yml apiVersion: v1 kind: Pod metadata: name: test-pd spec: containers: - image: nginx name: test-container volumeMounts: - mountPath: /usr/share/nginx/html /挂载到这里 name: test-volume volumes: - name: test-volume hostPath: path: /data /映射宿主机的data目录 type: DirectoryOrCreate /没有就创建 [root@server3 ~]# ll -d /data ls: cannot access /data: No such file or directo [root@server4 ~]# ll -d /data ls: cannot access /data: No such file or directo当前我们的结点上是都没/data 这个目录的。
[root@server2 vol]# kubectl apply -f vol1.yml pod/test-pd created [root@server2 vol]# kubectl get pod -owide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES test-pd 1/1 Running 0 59s 10.244.141.223 server3 <none> <none> /调度到了server3上 [root@server3 ~]# ll -d /data drwxr-xr-x 2 root root 6 Jul 2 11:02 /data /创建了 [root@server3 data]# echo woaini >index.html /创建页面 [root@server3 data]# ll total 4 -rw-r--r-- 1 root root 7 Jul 2 11:06 index.html [root@server2 vol]# kubectl get pod -owide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES test-pd 1/1 Running 0 6s 10.244.141.224 server3 <none> <none> [root@server2 vol]# curl 10.244.141.224 woaini /就可以访问到了我们现在在server4上手动创建 /data 目录,并编辑一个页面:
[root@server4 ~]# mkdir /data [root@server4 ~]# cd /data/ [root@server4 data]# echo 666 > index.html然后修改yaml文件,选择调度的结点在server4上:
apiVersion: v1 kind: Pod metadata: name: test-pd spec: nodeSelector: kubernetes.io/hostname: server4 //这里 containers: - image: nginx name: test-container volumeMounts: - mountPath: /usr/share/nginx/html name: test-volume volumes: - name: test-volume hostPath: path: /data type: DirectoryOrCreate [root@server2 vol]# kubectl apply -f vol1.yml kubec get podpod/test-pd created [root@server2 vol]# kubectl get pod -owide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES test-pd 1/1 Running 0 4s 10.244.22.23 server4 <none> <none> [root@server2 vol]# curl 10.244.22.23 666现在访问的却是server4上的页面,我们只是改变了调度的结点,它却连页面都改变了,这就说明这种卷的方式会受宿主机的影响,有干扰。 那我们怎样让数据一致哪?就可以使用nfs类型的卷。
然后去各个结点安装nfs的支持:
[root@server3 ~]# yum insatll nfs-utils -y [root@server4 ~]# yum insatll nfs-utils -y [root@server4 data]# mount 172.25.254.1:/nfsdata /mnt/ [root@server4 data]# df Filesystem 1K-blocks Used Available Use% Mounted on /dev/mapper/rhel-root 17811456 4220508 13590948 24% / devtmpfs 1011516 0 1011516 0% /dev tmpfs 1023608 0 1023608 0% /dev/shm tmpfs 1023608 17532 1006076 2% /run tmpfs 1023608 0 1023608 0% /sys/fs/cgroup /dev/sda1 1038336 135224 903112 14% /boot tmpfs 204724 0 204724 0% /run/user/ 172.25.254.1:/nfsdata 17811456 12813440 4998016 72% /mnt /可以挂载了 [root@server4 data]# umount /mnt/ [root@server2 vol]# vim vol1.yml apiVersion: v1 kind: Pod metadata: name: test-pd spec: containers: - image: nginx name: test-container volumeMounts: - mountPath: /usr/share/nginx/html name: test-volume volumes: - name: test-volume nfs: /设置类型为nfs server: 172.25.254.1 /指定ip和目录 path: /nfsdata [root@server2 vol]# kubectl apply -f vol1.yml pod/test-pd created [root@server2 vol]# kubectl get pod -owide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES test-pd 1/1 Running 0 7s 10.244.141.225 server3 <none> <none> [root@server2 vol]# curl 10.244.141.225 88888调度到server4上:
[root@server2 vol]# vim vol1.yml apiVersion: v1 kind: Pod metadata: name: test-pd spec: nodeSelector: kubernetes.io/hostname: server4 //指定标签 containers: - image: nginx name: test-container volumeMounts: - mountPath: /usr/share/nginx/html name: test-volume volumes: - name: test-volume nfs: server: 172.25.254.1 path: /nfsdata [root@server2 vol]# kubectl apply -f vol1.yml pod/test-pd created [root@server2 vol]# kubectl get pod -owide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES test-pd 1/1 Running 0 6s 10.244.22.24 server4 <none> <none> [root@server2 vol]# curl 10.244.22.24 88888看出不论pod运行在那个结点,数据都是一致的。