Linux性能调优--内存套路篇

    技术2023-08-31  69

    总结一些解决内存问题,优化内存的一些思路 1 内存性能指标 系统内存使用情况 已用内存和剩余内存很容易理解,就是已经使用和还未使用的内存。 共享内存是通过 tmpfs 实现的,所以它的大小也就是 tmpfs 使用的内存大小。tmpfs 其实也是一种特殊的缓存。 可用内存是新进程可以使用的最大内存,它包括剩余内存和可回收缓存。 缓存包括两部分,一部分是磁盘读取文件的页缓存,用来缓存从磁盘读取的数据,可以加快以后再次访问的速度。另一部分,则是 Slab 分配器中的可回收内存。 缓冲区是对原始磁盘块的临时存储,用来缓存将要写入磁盘的数据。这样,内核就可以把分散的写集中起来,统一优化磁盘写入。 进程内存使用情况 虚拟内存,包括了进程代码段、数据段、共享内存、已经申请的堆内存和已经换出的内存等。这里要注意,已经申请的内存,即使还没有分配物理内存,也算作虚拟内存。 常驻内存是进程实际使用的物理内存,不过,它不包括 Swap 和共享内存。 共享内存,既包括与其他进程共同使用的真实的共享内存,还包括了加载的动态链接库以及程序的代码段等。 Swap 内存,是指通过 Swap 换出到磁盘的内存 系统调用内存分配请求后,并不会立刻为其分配物理内存,而是在请求首次访问时,通过缺页异常来分配。 可以直接从物理内存中分配时,被称为次缺页异常。 需要磁盘 I/O 介入(比如 Swap)时,被称为主缺页异常。 主缺页异常升高,就意味着需要磁盘 I/O,那么内存访问也会慢很多。 内存性能指标: 工具: free 可以查看系统的整体内存和 Swap 使用情况 top ps 查看进程的内存使用情况。 proc 文件系统,找到了内存指标的来源 vmstat,动态观察了内存的变化情况。 cachestat ,查看整个系统缓存的读写命中情况 cachetop 来观察每个进程缓存的读写命中情况 memleak 查找内存泄漏 sar 是目前 Linux 上最为全面的系统性能分析工具之一,可以从多方面对系统的活动进行报告 /proc/zoneinfo NUMA系统内存阀值 性能指标和工具的联系 1 从指标出发 2 从工具出发 但是也不可能每个工具都用一遍,还是有些套路可以遵循的。 具体的分析思路主要有这几步: 1 先用 free 和 top,查看系统整体的内存使用情况。 2 再用 vmstat 和 pidstat,查看一段时间的趋势,从而判断出内存问题的类型。 3 最后进行详细分析,比如内存分配分析、缓存 / 缓冲区分析、具体进程的内存使用分析等。 流程图: 常见的优化思路有这么几种。 1 最好禁止 Swap。如果必须开启 Swap,降低 swappiness 的值,减少内存回收时 Swap 的使用倾向。 2 减少内存的动态分配。比如,可以使用内存池、大页(HugePage)等。 3 尽量使用缓存和缓冲区来访问数据。比如,可以使用堆栈明确声明内存空间,来存储需要缓存的数据;或者用 Redis 这类的外部缓存组件,优化数据的访问。 3 使用 cgroups 等方式限制进程的内存使用情况。这样,可以确保系统内存不会被异常进程耗尽。4 通过 /proc/pid/oom_adj ,调整核心应用的 oom_score。这样,可以保证即使内存紧张,核心应用也不会被 OOM 杀死。

    Processed: 0.013, SQL: 9