★ FEATURED ARTICLE 1. 为什么要在 Ubuntu 上折腾 ZFS很多人第一次听到 ZFS反应都是这不是企业级存储才用的东西吗。实际上ZFS 早就不是大型存储阵列的专属了。它是一个集卷管理、软 RAID、快照、校验、压缩、去重于一身的文件系统最吸引人的地方在于它把过去需要 LVM mdadm 文件系统 备份工具四五个组件拼起来才能干的事全部收进了一个统一的框架里。我在一台 Ubuntu 工作站上跑 ZFS 已经有一段时间了最初的目的很简单——受够了传统 ext4 分区一旦划好就不好调整的毛病也受够了 rsync 做增量备份时那种心里没底的感觉。ZFS 的快照是原子级的几乎瞬间完成而且不占额外空间只记录变化块回滚一条命令搞定。这种体验一旦用过就很难回去了。这篇文章面向的是有一定 Linux 基础、想在 Ubuntu 上把 ZFS 真正用起来的人。我会从安装、创建池、调优参数、快照管理、日常维护几个角度把整个流程讲透并且把那些官方文档里不会写、但实际用起来一定会遇到的坑一并说清楚。你不需要有存储工程师的背景但至少要熟悉基本的命令行操作和磁盘设备命名规则。需要提前说明的是ZFS 有两种常见形态一种是 Ubuntu 官方仓库里的zfs-linux内核模块方式另一种是用户态的 OpenZFS 源码编译。对绝大多数人来说直接用 Ubuntu 仓库的版本就够了省心且和内核更新配合得好。下面所有操作都基于这个前提。2. 安装前的磁盘规划与设备识别2.1 先搞清楚你要用哪些盘ZFS 最忌讳的一件事就是盘还没认全就急着建池。我见过有人把系统盘和数据盘搞混结果一条zpool create下去系统盘被覆盖当场重装。所以第一步永远是确认设备名。用lsblk看块设备拓扑是最直观的lsblk -o NAME,SIZE,TYPE,MODEL,MOUNTPOINT输出里你会看到sda、sdb、nvme0n1这类名字。关键点在于ZFS 建池时用的是整块盘whole disk而不是分区。也就是说你给的是/dev/sdb而不是/dev/sdb1。ZFS 会自己在盘上写标签和分区结构。如果你用的是 NVMe 盘名字会是/dev/nvme0n1、/dev/nvme1n1。这里有个容易踩的坑NVMe 设备名里的数字含义和 SATA 不一样nvme0n1表示控制器 0 上的命名空间 1别把它当成分区号。提示建池前务必用lsblk和blkid双重确认目标盘上没有重要数据。ZFS 建池会直接覆盖盘上的分区表没有你确定吗这种二次确认。2.2 用 by-id 路径避免设备名漂移/dev/sdb这种名字是内核枚举时动态分配的重启或者插拔硬盘后可能变成/dev/sdc。如果你在zpool create时写的是/dev/sdbZFS 内部其实会记录设备的唯一标识比如 WWN 或序列号所以池本身不会因为改名而挂掉。但为了排查问题时心里有数我习惯在建池时就用/dev/disk/by-id/下的稳定路径ls -l /dev/disk/by-id/你会看到类似ata-WDC_WD40EFRX-68N32N0_WD-WCC7K1234567这样的长名字。建池时用它好处是无论设备名怎么变你都能一眼对应到物理盘。这个习惯在多盘环境下尤其重要。2.3 内存和 ECC 的现实考量网上关于 ZFS 的讨论里永远绕不开两个话题内存要多大、必须用 ECC 内存吗。先说内存。ZFS 默认会用一部分内存做 ARCAdaptive Replacement Cache这是它的读缓存。经验值是每 1TB 存储配 1GB 内存起步但这只是舒适线不是生死线。我实测过 8GB 内存带 4TB 池日常家用完全够用只是 ARC 命中率低一些。真正吃内存的是**去重dedup**功能那个才是内存杀手每 TB 去重数据可能要 5GB 以上内存家用场景我强烈建议别开。再说 ECC。ZFS 的设计哲学是端到端校验它能发现并修复数据损坏但如果内存本身出错ZFS 可能会把正确的数据修成错的。所以理论上 ECC 更安全。但现实是非 ECC 内存跑 ZFS 的人海了去了出问题的概率远低于硬盘故障本身。我的态度是有 ECC 更好没有也不必因此放弃 ZFS。别被那些没有 ECC 就别用 ZFS的论调吓住。3. 在 Ubuntu 上装 ZFS 的完整流程3.1 安装软件包Ubuntu 从 16.04 开始就把 ZFS 做进了官方仓库安装非常直接sudo apt update sudo apt install zfsutils-linux这个包会带上zpool、zfs、zdb等核心工具以及内核模块zfs.ko。装完之后验证一下zfs version正常会输出类似zfs-2.2.x和zfs-kmod-2.2.x两行。如果只显示用户态版本、内核模块版本为空说明模块没加载手动来一下sudo modprobe zfs如果modprobe报错多半是内核版本和模块不匹配通常是刚升级完内核还没重启。重启一次基本就好。3.2 关于 DKMS 和内核更新这里有个很多人忽略的细节ZFS 是内核模块每次内核升级后都需要重新编译或加载对应版本的模块。Ubuntu 的zfsutils-linux依赖zfs-dkmsDynamic Kernel Module SupportDKMS 会在内核更新时自动帮你重新编译模块。你可以确认一下 DKMS 状态dkms status应该能看到zfs相关的条目状态是installed。如果某次内核升级后 ZFS 突然不能用了第一件事就是看 DKMS 有没有编译失败。常见原因是缺少内核头文件sudo apt install linux-headers-$(uname -r)装完头文件再sudo dkms autoinstall重新编译即可。这个坑我在一次自动升级后遇到过池没挂但zpool命令报模块未加载折腾了半小时才反应过来是 DKMS 没跟上。3.3 创建第一个存储池假设你有两块盘/dev/sdb和/dev/sdc想做一个镜像池类似 RAID1命令是sudo zpool create -f tank mirror /dev/sdb /dev/sdc这里tank是池名你可以随便起但建议用有意义的名字。mirror表示镜像模式两块盘互为副本。执行完ZFS 会自动把池挂载到/tank。如果你想要更细的控制比如指定挂载点、关闭自动挂载可以加参数sudo zpool create -f \ -O mountpoint/data \ -O compressionlz4 \ -O atimeoff \ tank mirror /dev/sdb /dev/sdc逐条解释一下这几个参数为什么这么设-O mountpoint/data把池的挂载点定在/data而不是默认的/tank方便你按用途组织目录。-O compressionlz4开启 LZ4 压缩。这是 ZFS 上最值得开的一个选项压缩几乎不损失性能反而因为写入数据变少而提升吞吐。LZ4 的压缩比在文本、日志类数据上通常有 2 到 3 倍。-O atimeoff关闭访问时间更新。每次读文件都写一次元数据是纯浪费关掉能明显减少写入放大。3.4 池的健康检查建完池第一件事是看状态zpool status tank输出里会显示池的整体健康度ONLINE、每块盘的状态、以及是否有校验错误。刚建好的池应该是全绿。如果看到DEGRADED或者某块盘FAULTED说明盘有问题别急着往里存数据。再看一眼容量和属性zpool list tank zfs get all tankzpool list显示的是池的物理容量注意 ZFS 报告的可用空间和传统 RAID 算法不太一样镜像池里两块 4TB 盘可用空间是 4TB 而不是 8TB这是正常的。4. 数据集、压缩与那些影响性能的关键参数4.1 数据集不是文件夹是独立的管理单元ZFS 里有个核心概念叫数据集dataset它看起来像目录但本质是一个可以独立设置属性的文件系统。你可以这样创建sudo zfs create tank/media sudo zfs create tank/backup sudo zfs create tank/vm每个数据集都能单独设压缩、配额、快照策略。比如给虚拟机镜像单独设recordsize给备份数据单独设配额互不干扰。这是 ZFS 比传统文件系统灵活的地方——属性跟着数据集走而不是跟着整个分区走。4.2 recordsize 的选择逻辑recordsize是 ZFS 里最容易被忽视、但对性能影响巨大的参数。它定义了一个数据块的最大尺寸默认是 128K。存大文件视频、镜像、备份归档保持 128K 甚至调到 1M减少元数据开销。存数据库或小文件调到 8K 或 16K减少读放大。存虚拟机磁盘通常建议 16K 到 64K具体看虚拟化平台。改法是sudo zfs set recordsize16k tank/vm注意recordsize只对新写入的数据生效已经写进去的块不会重排。所以最好在数据集还是空的时候就设好。4.3 压缩算法的取舍ZFS 支持好几种压缩算法常用的有 LZ4、ZSTD、GZIP。我的建议很明确算法压缩比CPU 开销适用场景LZ4中极低默认首选几乎无脑开ZSTD高中归档、日志、可接受一点 CPUGZIP最高高极少用除非存储极度紧张LZ4 之所以是默认推荐是因为它的解压速度比内存带宽还快等于免费压缩。ZSTD 在较新版本的 OpenZFS 里支持压缩比更好适合对空间敏感的场景。GZIP 现在基本被 ZSTD 取代了除非你有特殊需求。查看压缩效果zfs get compressratio tank这个值会随着数据写入慢慢稳定下来。我自己的媒体库用 LZ4压缩比大概 1.15日志数据集用 ZSTD能到 3 以上。4.4 别轻易碰去重dedup这个功能听起来很美——相同的数据只存一份。但它的代价是一张巨大的去重表常驻内存每 TB 数据可能要 5GB 以上内存。家用环境开去重轻则内存吃紧重则系统卡死。我见过有人为了省几百 GB 空间开了去重结果 16GB 内存被吃光机器直接失去响应。如果你确实需要去重先算清楚内存够不够或者考虑用zstd压缩来替代——压缩在很多场景下能达到类似的空间节省却没有去重表的内存负担。5. 快照、回滚与日常数据保护5.1 快照为什么是 ZFS 的杀手锏传统备份要么全量复制慢、占空间要么增量同步依赖工具、容易出错。ZFS 快照是**写时复制Copy-on-Write**的产物创建快照的瞬间只是记录当前的数据块指针几乎不耗时、不占空间。之后只有数据被修改时旧块才保留下来。创建快照sudo zfs snapshot tank/media20240101命名建议带上日期或用途方便管理。查看快照zfs list -t snapshot5.2 回滚与克隆回滚到某个快照sudo zfs rollback tank/media20240101注意回滚会丢弃快照之后的所有修改而且如果有更新的快照需要先删掉它们或者加-r递归删除。这个操作不可逆执行前想清楚。如果不想破坏当前数据可以从快照克隆出一个新数据集sudo zfs clone tank/media20240101 tank/media-restore克隆出来的数据集是独立的可以随便改不影响原数据。这个功能在误删文件想找回的场景下特别好用——克隆一份把文件拷出来再删掉克隆。5.3 用 cron 做自动快照手动打快照容易忘用 cron 自动化最省心。写个简单脚本#!/bin/bash DATE$(date %Y%m%d-%H%M) zfs snapshot tank/mediaauto-$DATE # 只保留最近 30 个自动快照 zfs list -t snapshot -o name -s creation | grep tank/mediaauto- | head -n -30 | xargs -r -n1 zfs destroy放进 crontab 每小时跑一次0 * * * * /usr/local/bin/zfs-snapshot.sh这个脚本的逻辑是先打快照再列出所有自动快照按创建时间排序删掉最旧的、只留 30 个。这样既保证了有回滚点又不会让快照无限堆积。提示快照本身不占空间但被快照引用的数据块无法释放。如果你删了文件但快照还在空间不会回收。定期清理旧快照是必须的。5.4 发送到远程做异地备份ZFS 的send/receive是它最强大的功能之一能把快照流式传输到另一台机器sudo zfs send tank/media20240101 | ssh userremote zfs receive backup/media增量发送更省带宽sudo zfs send -i tank/media20240101 tank/media20240102 | ssh userremote zfs receive backup/media这个机制的好处是传输的是块级差异不依赖文件系统层比 rsync 更可靠而且接收端的数据是完整可用的 ZFS 数据集随时能挂载。6. 那些官方文档不会告诉你的坑6.1 池满了会怎样ZFS 在池使用率超过 80% 之后性能会明显下降超过 95% 可能直接拒绝写入。这不是 bug是设计使然——ZFS 需要空闲块来做写时复制和碎片整理。所以永远给池留至少 20% 的余量。监控使用率zpool list -o name,capacity tank如果快满了优先删旧快照其次考虑加盘扩容。6.2 加盘扩容的正确姿势镜像池扩容有个限制不能直接往镜像里加一块盘变成三副本其实可以但意义不大。常见做法是加一组新的镜像 vdevsudo zpool add tank mirror /dev/sdd /dev/sde这样池的容量翻倍但注意——ZFS 不会自动重新平衡已有数据。新写入的数据会优先落到新 vdev旧数据还留在老 vdev 上。想要平衡得手动迁移数据或者用zfs send/receive重建。6.3 scrub 要定期跑scrub是 ZFS 的校验扫描它会读取所有数据块用校验和验证完整性发现坏块就用副本修复。建议每月跑一次sudo zpool scrub tank查看进度zpool status tankscrub 期间性能会下降最好安排在低峰期。如果 scrub 报出校验错误别慌先看zpool status -v定位是哪个文件再决定是修复还是从备份恢复。6.4 别在 ZFS 上叠 RAID 控制器如果你用的是硬件 RAID 卡一定要把它设成 HBA/JBOD 模式让 ZFS 直接看到物理盘。硬件 RAID 会隐藏磁盘的真实状态ZFS 拿到的是一块逻辑盘校验和修复能力就废了一半。这是 ZFS 部署里最常见的错误之一。6.5 系统盘能不能用 ZFS可以Ubuntu 的安装器甚至支持 ZFS 根文件系统ZFS on Root。但要注意ZFS 根需要单独的/boot分区通常是 ext4因为 GRUB 对 ZFS 的支持有限。如果你只是想体验 ZFS建议先拿数据盘练手别一上来就动系统盘。7. 我自己的调优参数清单折腾久了我总结出一套自己常用的参数组合直接贴出来供参考# 建池时 sudo zpool create -f \ -O mountpoint/data \ -O compressionlz4 \ -O atimeoff \ -O xattrsa \ -O acltypeposixacl \ tank mirror /dev/disk/by-id/xxx /dev/disk/by-id/yyyxattrsa把扩展属性存在 inode 里而不是隐藏目录性能更好Samba/NFS 场景尤其明显。acltypeposixacl启用 POSIX ACL兼容 Linux 权限模型。数据集层面sudo zfs set recordsize1M tank/media # 大文件 sudo zfs set recordsize16k tank/vm # 虚拟机 sudo zfs set compressionzstd tank/backup # 归档 sudo zfs set quota2T tank/backup # 配额限制这些参数不是教条你可以根据自己的负载调整。核心原则是大文件大块、小文件小块、能压缩就压缩、别开去重。8. 出问题时的排查思路ZFS 出问题第一步永远是看zpool status。它会告诉你池的健康度、哪块盘有问题、有没有校验错误。如果池是ONLINE但性能异常看zpool iostatzpool iostat -v tank 5这个命令每 5 秒刷新一次显示每个 vdev 的读写吞吐和 IOPS。如果某块盘明显拖后腿可能是盘要坏了。如果池变成DEGRADED说明有盘掉线。先确认是物理故障还是连接问题sudo zpool status -v tank如果是临时掉线zpool online tank /dev/sdb能重新上线并触发 resilver重建。resilver 期间性能会下降别在这时候做重负载操作。如果池彻底无法导入试试sudo zpool import sudo zpool import -f tank-f是强制导入用于池被标记为上次未正常导出的情况。如果还不行可能需要-F或-X做更激进的事务回滚但这两个参数有数据丢失风险用之前一定确认清楚。最后分享一个我踩过的坑有次系统升级后 ZFS 模块没加载zpool命令全部报错我第一反应是池坏了差点去动zpool import。后来冷静下来一看是 DKMS 编译失败导致模块缺失。遇到 ZFS 命令集体报错先确认模块加载状态再怀疑池本身。这个顺序能帮你省下大量不必要的恐慌。
阅读完成 · 觉得有帮助？
