目录

• swap 概念
• 创建 swap
• 多个 swap 的优先级
• 内核调参优化
  • 内存回收机制
  • 内核参数 swappiness
  • 内核参数 vfs_cache_pressure
• 内核功能 zswap
• 内核功能 zram
  • 开启 zram
  • zram 优化
  • 自动化配置 zram

swap 概念

Swap 分区 也称交换分区，它可以是硬盘上的一个分区，也可以是一个指定的 Swap File 。

当内存不足时，内存中长时间不用的数据会被写到 Swap 并从内存删除，从而空出内存给其他程序使用。

当然，这也意味着，CPU 从 Swap 中，即硬盘中，读写数据的速度比从内存中的速度慢得多。

创建 swap

Swap 分区可以使用 fdisk 或者其他工具进行创建，但我更倾向于使用 Swap 文件。

使用 sudo fallocate -l 8G /swapfile 在根目录下创建一个名为 swapfile 大小 8G 的文件。

非 Debian 系系统，比如 OpenSuSE 用 sudo dd if=/dev/zero of=/swapfile count=8192 bs=1MiB 有相同效果。

sudo chmod 600 /swapfile 修改 /swapfile 的权限，只有 root 用户才可读写。

sudo mkswap /swapfile 格式化 swap 文件。

sudo swapon /swapfile 激活 swap。

sudo swapon --show 查看是否开启 swap，结果类似下面这样:

NAME      TYPE SIZE USED PRIO
/swapfile file   8G   0B   -2

把 /swapfile 添加到 /etc/fstab 使系统自动挂载 swap:

/swapfile swap swap defaults 0 0

或者直接使用以下命令:

sudo cp /etc/fstab /etc/fstab.bak
echo '/swapfile swap swap defaults 0 0' | sudo tee -a /etc/fstab

在删除一个 swap file 前，必须先停用它。

执行 sudo swapoff <name> 停用指定的 swap，其中 <name> 可在 sudo swapon --show 中查询。

从 /etc/fstab 中删除相关条目，最后 rm -rf /swapfile 删除文件。

多个 swap 的优先级

如果有多个 swap 文件或者分区，可以给它们各自优先级值，范围是 0-32767 。数字越大，越优先被使用。

优先级可以在 /etc/fstab 中通过 pri 参数指定:

/dev/sda1 none swap defaults,pri=100 0 0
/dev/sdb2 none swap defaults,pri=10  0 0

或者通过 swapon 的 −p 即 −−priority 参数指定:

sudo swapon -p 100 /dev/sda1

如果两个或以上的 swap 有同样的优先级，并且它们都是当前可用的最高优先级，page 会按照循环的方式在它们之间分配。

内核调参优化

内存回收机制

内存回收操作针对的 page 由定义在 mm/vmscan.c 内一个 enum 中的链表组成。主要有 4 个:

• anon - inactive
• anon - active
• file - inactive
• file - active

就是说，内存回收操作主要针对的就是内存中的文件页 file cache 和匿名页 anon 。

关于内存页活跃 active 与不活跃 inactive 的判断由内核使用 LRU 算法进行处理并标记，不详细展开这个过程。

整个扫描的过程分几个循环:

1. 首先扫描每个 zone 上的 cgroup 组；
2. 然后以 cgroup 的内存为单元进行 page 链表的扫描:
   1. 先扫描 anon 的 active 链表，将不频繁的放进 inactive 链表中;
   2. 扫描 inactive 链表，将里面活跃的移回 active 中；
   3. 按照同样的顺序扫描 file cache 对应的 page 链表。

进行 swap 操作时，先换出 inactive page。

如果 page 是 file cache，则判断其是否为脏数据，如果是脏数据就写回，不是脏数据可以直接释放。

这样看来，内存回收这个行为会对两种内存的使用进行回收:

1. anon 匿名页内存，主要回收手段是 swap；
2. file-backed 文件映射页，主要的释放手段是写回和清空。

因为针对 filebased 的内存，没必要交换，其数据原本就在硬盘上，回收这部分内存只要在有脏数据时写回，并清空内存就好，以后有需要再从对应的文件读回来。

内存对匿名页和文件缓存一共用了四条链表进行组织，回收过程主要是针对这四条链表进行扫描和操作。

内核参数 swappiness

sysctl 的参数中有一个叫 swappiness ，取值范围 0-100 ，默认 60 。

cat /proc/sys/vm/swappiness
60

注意，这个 60 不是百分比，只用来定义内核释放内存的倾向:

• 值越高，内核就会越积极的使用 swap；
• 值越低，就会降低对 swap 的使用积极性。
• 如果这个值为 0，那么内存在 free 和 file-backed 使用的页面总量小于高水位标记 ( high water mark ) 之前，不会发生交换。

在这里可以理解 file-backed page 这个词的含义了，实际上就是上文所说的文件映射页的数据。

如果回收内存可以有两种途径:

1. anon 匿名缓存，进入 swap。
2. file 文件缓存，回写。

那么内存回收的时候要平衡两种回收手段的使用，以达到最优。除此之外，在处理匿名缓存时，如果符合交换条件的内存较长，比如可以交换的内存有 100M，但是目前只需要 50M，实际交换 50M 就好，不用交换所有的数据。

Linux 内核中处理上述逻辑的代码写在 get_sacn_count() ( 这个方法被 shrink_lruvec() 调用 ) 中，swappiness 是它所需要的一个参数。这个参数影响内核在清空内存的时，对于 file-backed 回写与匿名缓存进入 swap 的倾向。

get_sacn_count() 函数的处理部分代码，关于 swappiness 的注释的很清楚: 如果 swappiness 设为 100，那么匿名缓存和文件缓存将用同样的优先级进行回收。

很明显，使用清空文件的方式将有利于减轻内存回收时可能造成的 I/O 压力。因为如果 file-backed 中的数据不是脏数据的话，可以不用写回，直接丢弃，这样就没有 I/O 发生，若进行交换，就一定会由 I/O 操作。

所以系统默认将 swappiness 的值设置为 60，这样回收内存时，对 file-backed 内存的清空比例会更大，内核将会更倾向于进行缓存清空而不是交换。

这里的 swappiness 取值 60 不是说内核回收的时会按照 60:40 的比例去做相应的 swap 和清空 file-backed。在做这个比例计算的时候，内核还要参考当前内存使用的其他信息。get_sacn_count() 函数中有详细的实现算法。

要明确的概念是: swappiness 的值是用来控制内存回收时，回收的匿名页更多一些还是回收的文件缓存更多一些。

swappiness 设置为 0 时，如果 file-backed 数据清理完成而内存还是不够用的话，内核依旧会进行 swap 操作。

除此之外，还有一种情况会导致内核直接使用 swap: 触发全局回收，并且 zonefile + zonefree <= high_wmark_pages(zone) 条件成立时，就将 scan_balance 这个标记置为 SCAN_ANON 。后续处理 scan_balance 时，内核检测到它的值是 SCAN_ANON ，则一定会进行针对匿名页的 swap 操作。

要理解这个行为，首先要搞清楚什么是高水位标记 ( high_wmark_pages )。

Linux 内核使用 水位标记 watermark 来描述内存压力情况，由 3 种标记 high low min 构成。

标记的含义分别为:

• 内存剩余在 high 以上表示内存剩余较多，目前内存压力不大。
• 内存剩余在 high 到 low 之间表示目前内存有一定压力。
• 内存剩余在 low 以下表示内存开始有较大使用压力。

而小于 min 的这部分内存，内核是保留给特定情况下使用的，一般不会分配。

内存回收行为基于 watermark 进行决策:

• 当剩余内存低于 watermark[low] 时，内核的 kswapd 开始回收内存。直到剩余内存达到 watermark[high] 后停止。
• 当剩余内存低于 watermark[min] 时，就会触发直接回收 direct reclaim 。

明白了水位标记的概念之后， zonefile + zonefree <= high_wmark_pages(zone) 这个公式就能理解了:

• zonefile 相当于内存中文件映射的总量。
• zonefree 相当于剩余内存的总量。

内核一般认为，如果 zonefile 还有的话，就可以尽量通过清空文件缓存获得部分内存，不必只用 swap 方式处理 anon 内存数据。

就是说在全局回收的状态下 ( 有 global_reclaim(sc) 标记 )，如果当前的 文件映射内存总量 + 剩余内存总量 <= watermark[high] 时直接使用 swap。

这个判断对系统的影响是， swappiness 设置为 0 时，即使有剩余内存，也可能出现 swap 操作 。

watermark 是根据 内存总大小 和 /proc/sys/vm/min_free_kbytes 参数进行运算得来的，这个参数是:

这个参数本身决定了系统中每个 zone 的 watermark[min] 的值大小。然后内核根据 min 的大小并参考每个 zone 的内存大小分别算出每个 zone 的 low 水位和 high 水位值。

具体逻辑可以参见源代码目录下的 mm/page_alloc.c。

可以从 /proc/zoneinfo 文件中查看当前系统的相关的信息和使用情况。

/etc/sysctl.d/90-mysettings.conf
vm.swappiness=20

内核参数 vfs_cache_pressure

参数 vm.vfs_cache_pressure 表示内核回收 directory 和 inode cache 内存数据的 倾向:

• 默认值 100 表示内核根据 pagecache ( 内存 ) 和 swapcache ( swap )，把 directory 和 inode cache 保持在合理的百分比；
• 值 低于 100 内核倾向于 保留 directory 和 inode cache；
• 值 高于 100 内核倾向于 回收 directory 和 inode cache。

/etc/sysctl.d/90-mysettings.conf
vm.vfs_cache_pressure=50

内核功能 zswap

频繁使用 swap 会降低内存性能。要避免内存性能降低有两个思路，一个是提高读写磁盘的速度，比如将机械硬盘换成固态盘，一个是降低使用 swap 的频率。

Linux kernel 3.11 引入了 zswap 功能。

zswap 单独使用一部份 RAM 作为存储池，将原本要被交换的 RAM 数据进行压缩，放入存储池中，一旦池满或 RAM 耗尽，最近最少使用 ( LRU ) 的页就会被解压缩并写入磁盘，就像 zswap 不存在时一样。将池中的页解压缩到 swap 后，会释放池中的压缩版本。

这个思路可以延缓发生 swap 的进度。

sudo echo 1 | tee /sys/module/zswap/parameters/enabled 可以临时启用 zswap。

若要 zswap 随内核启动，则需要修改内核的启动参数:

编辑 /etc/default/grub 配置文件。在 GRUB_CMDLINE_LINUX_DEFAULT 中加上:

GRUB_CMDLINE_LINUX="..."
GRUB_CMDLINE_LINUX_DEFAULT="... zswap.enabled=1 zswap.compressor=lz4 zswap.max_pool_percent=20 zswap.zpool=z3fold"

其中:

1. zwap.enabled 表示是否启用 zswap；
2. zswap.compressor 表示用来压缩内存的算法，可以是 lzo lz4 lz4hc deflate 任选其一；
3. zswap.max_pool_percent 用来表示内存池的上限，内存池根据需要缓慢增加，但最大不超过限定值；
4. zswap.zpool 内存池的管理算法,可以是 zbud 或 z3fold ，其中 z3fold 比 zbud 有更好的压缩率，也需要更多的 CPU 资源；

在 Debian 系发行版上执行 sudo update-grub 或者 sudo grub-mkconfig -o /boot/grub/grub.cfg 重新生成 GRUB 配置文件后，重启系统。

在 RedHat 系发行版上执行 sudo grub2-mkconfig -o /boot/grub2/grub.cfg 重新生成 GRUB 配置文件后，重启系统。

重启后，执行 dmesg | grep zswap 确认 zswap 是否正常开启。

在 archlinux 上，还可以通过 systemd-swap ( 这包是 AUR 源里的，Debian 和 Ubuntu 默认没装这个野包 ) 开启 zswap:

注意: 并不推荐使用这个软件。

sudo pacman -S systemd-swap --noconfirm
sudo systemctl enable systemd-swap
sudo systemctl restart systemd-swap

若想要通过 systemd-swap 管理 zswap 可以通过 /etc/systemd/swap.conf 进行配置:

$ grep -i zswap /etc/systemd/swap.conf
# Zswap
# Zswap create compress cache between swap and memory for reduce IO
# https://www.kernel.org/doc/Documentation/vm/zswap.txt
zswap_enabled=1
zswap_compressor=lz4      # lzo lz4
zswap_max_pool_percent=25 # 1-99
zswap_zpool=zbud          # zbud z3fold

内核功能 zram

zram 与 zswap 类似，都要在内存中单独开辟一块空间。区别在于，zram 使用内存模拟 swap 设备，不会把 swap 中的数据放入磁盘中。

zram 在内存中单独开辟一块空间并将其模拟成为磁盘设备，当 swap 行为产生时，数据被压缩后放在 zram 模拟的磁盘设备中 ( 还是在内存里 )。

由于在内存中压缩和解压缩的速度远比在磁盘中快，因此 zram 在移动终端设备广泛被应用。zram 是基于 ram 的 block device，默认的 swap priority 会很靠前。只有 zram 空间满了，系统才会考虑其他的 swap 设备。当然这个优先级可以自行配置。

注意: zram + swap 的性能可能差于 zswap，zram 只在没有 swap 的情况下很好用。

开启 zram

1. 配置内存压缩算法。比如，使用 lz4 压缩算法: echo lz4 > /sys/block/zram0/comp_algorithm
2. 配置 zram 大小。比如，配置 zram 大小为 2GB，有两种写法:
   • echo 2G > /sys/block/zram0/disksize
   • echo $((2*1024*1024*1024)) > /sys/block/zram0/disksize
3. 开启 zram: mkswap /dev/zram0 &&​ swapon /dev/zram0
4. zram 设备个数设定。如果把 zram 作为为内核模块加载，那么可以在内核模块加载的时候，添加参数: insmod zram.ko num_devices=4

zram 优化

压缩流是内核 v3.14 新加入的功能。

v3.14 之前的 zram 仅使用一个压缩流，每个写 ( 压缩 ) 操作独享各自的压缩流 ( 主要是独享缓存，还能给流指定压缩算法 )。

单压缩流的情况下，如果写 ( 压缩 ) 操作出现卡顿或崩溃，所有的写 ( 压缩 ) 操作将一直处于等待状态；而多压缩流的架构会让写 ( 压缩 ) 操作并行执行，可以提高压缩效率和稳定性。

cat /sys/block/zram0/max_comp_streams 可以查看压缩流数量，默认数量是 1。

可以 echo 3 > /sys/block/zram0/max_comp_streams 直接向 proc 文件写入要使用几个压缩流。

/sys/block/zram0 路径下的文件的其他参数:

Name	Access	Description
disksize	RW	显示和设置该块设备的内存大小
initstate	RO	显示设备的初始化状态
reset	WO	重置设备
num_reads	RO	读数据的个数
failed_reads	RO	读数据失败的个数
num_write	RO	写数据的个数
failed_writes	RO	写数据失败的个数
invalid_io	RO	非页面大小对齐的I/O请求的个数
max_comp_streams	RW	最大可能同时执行压缩操作的个数
comp_algorithm	RW	显示和设置压缩算法
notify_free	RO	空闲内存的通知个数
zero_pages	RO	写入该块设备的全为的页面的个数
orig_data_size	RO	保存在该块设备中没有被压缩的数据的大小
compr_data_size	RO	保存在该块设备中已被压缩的数据的大小
mem_used_total	RO	分配给该块设备的总内存大小
mem_used_max	RW	该块设备已用的内存大小，可以写 1 重置这个计数参数到当前真实的统计值
mem_limit	RW	zram 可以用来保存压缩数据的最大内存
pages_compacted	RO	在压缩过程中可用的空闲页面的个数
compact	WO	触发内存压缩

自动化配置 zram

RedHat 系发行版中的 zram-generator 可以提供 zram 的自动化管理功能。这个包最早出现在 Fedora 29 与 Debian 12 上，属于 systemd 的一个子项目。

详细配置可以看 man 页面或者 Github 的文档。