★ FEATURED ARTICLE 简介《awk入门到精通》是一份面向UNIX/Linux环境开发者与运维人员的awk学习手册适合已有Shell基础、希望系统掌握文本处理能力的读者。内容以“为什么用awk”和“常见解题模式”为主线从数据行、字段、Pattern与Actions等核心概念讲起配合薪资文件等实例逐步演示awk在管道、输入输出重定向场景下的实际用法。书中将常用指令与函数整理在附录中便于编码时查阅。资源为PDF格式电子书共1个文件压缩包大小约593KB轻量易下载。目前已有1021人在线学习浏览。通过学习可掌握awk关联数组、正则匹配~与!~、记录分隔符RS/字段分隔符FS等关键技巧并能利用awk配合Shell管道灵活编写文本处理小工具提升日志分析与数据抽取效率。1. 一个文本处理老兵为什么到现在还没退休awk 诞生于上世纪 70 年代末名字取自三位创始人的姓氏首字母是一种典型的模式扫描与处理语言。四十多年过去Python、Perl、jq 轮番登场但你在 Linux 服务器上处理日志、提取字段、做聚合统计时awk 依然是最快落地的那把刀——不需要安装依赖、不需要等待解释器启动、不需要写完整程序一条管道命令就能完成从数据清洗到结果输出的全流程。这篇笔记面向两类人一类是被日志分析逼着学 awk 的运维和开发另一类是看过 awk 教程但总在真实数据上翻车的入门者。我会从 awk 的执行模型讲起用可复制的命令带你把字段提取、格式化输出、分组统计、分隔符控制全部走一遍最后给出一个能直接改用的日志分析脚本和几条保命习惯。2. awk 的核心模型模式-动作循环与字段切分2.1 从一行日志说起字段、记录和内置变量awk 的处理单位是「记录」和「字段」。默认情况下一条记录就是一行输入行与行之间用换行符分隔一行里的字段默认用空白空格或 Tab分隔。awk 逐条读取记录按字段分隔符把记录拆开然后依次对你写的动作求值。理解了「读一行、切一刀、跑一遍」这个循环你就理解了 awk 的一切行为——它不是通用编程语言而是一个面向「行 × 列」数据的处理引擎任何输入在它眼里都是等待被切分和重组的表格。echo 2024-05-12 10:23:45 ERROR user_login timeout | awk {print $1, $3, $4}输出是2024-05-12 ERROR user_login。$1是第一个字段$3是第三个字段$0代表整条记录。这里没有写模式所以每一行都会触发动作。字段编号从 1 开始NF是当前记录的字段总数NR是已读取的记录行号。注意$0和$1的区别$0是原始行$1是切分后的第一个字段当你修改了某个字段后$0会被 awk 按当前 OFS 重建这一点后面第 5 章会展开。内置变量是 awk 的第一批武器。NR在遍历多个文件时会持续累加FNR则会在每个文件内部重新从 1 开始。处理多文件合并时判断「当前是不是第一个文件的第 1 行」要用FNR 1而不是NR 1否则第二个文件的首行会被误判成全局首行。NF经常用来过滤脏数据比如awk NF 5 {next}跳过字段不足 5 的行——这类行往往是半截日志或格式错误的记录留着只会污染统计结果。awk {print NR, NF, $NF} access.log | head -5这段命令打印每行的行号、字段总数和最后一个字段。$NF是 awk 里非常实用的写法——NF 是数字放在$后面就是「第 NF 个字段」也就是最后一个字段。处理列数不固定的日志时$NF往往能直接取到你想要的 IP、状态码或耗时值不用先数列数。同理$(NF-1)取倒数第二个字段在时间戳、状态码、响应字节数这类「固定位于行尾附近」的日志结构里出镜率极高。2.2 BEGIN 与 END打开和收尾的两个钩子BEGIN 块在 awk 读取任何输入之前执行END 块在所有输入处理完之后执行。这两个块是 awk 跨行维护状态的根基没有它们你只能在单行内做处理无法累加、无法汇总、无法输出统计结果。BEGIN 最常做三件事初始化累加变量、设置 FS/OFS/RS 等分隔变量、打印输出文件的表头。END 最常做的也是三件事输出累加结果、遍历关联数组打印分组统计、关闭文件或管道。awk BEGIN {sum0; count0} {sum $5; count} END {printf avg %.2f\n, sum/count} request.log这段代码统计 request.log 中第 5 列的均值。BEGIN 里初始化sum和count中间的动作块对每一行累加END 里用printf输出平均值。awk 变量不需要声明类型未初始化的数值变量默认为 0字符串变量默认为空串但显式初始化能规避两类问题一是变量名拼写错误时不会报错拼错的名字会被当作新变量结果静默出错二是某些 awk 实现对未初始化变量参与字符串拼接时有隐式转换行为不一致。BEGIN 块还有一个高频用途跳过输入文件的表头行。NR 1作为模式让动作只从第二行开始执行比getline跳过表头的写法更直观也不会因为提前消费了一行而打乱 NR 的计数。END 块适合把多个维度的统计拼成一行统一输出比如同时输出总行数、总字节数、平均响应时间避免每行都打印中间结果造成刷屏。实际脚本里我习惯把所有 printf 集中在 END这样 awk 的输入输出流更干净排查问题时也只需看一处。2.3 模式匹配正则、比较与范围模式awk 的动作前面可以挂一个模式模式成立才执行动作。模式可以是正则表达式、比较表达式、范围模式或逻辑组合。没有模式时每一行都执行有模式时 awk 变成过滤器——这是 awk 与 sed 最大的区别之一sed 重在行编辑awk 的匹配是为数据处理服务的匹配之后你可以随意重组字段、累加计数、改变输出格式甚至修改整行内容。awk /ERROR/ {print NR, $0} app.log awk $4 1000 {print $1, $4} latency.log awk $1 ~ /^2024-06/ {count} END {print count} access.log第一行匹配包含 ERROR 的行并打印行号和整行适合快速定位异常第二行用数值比较筛选第 4 列大于等于 1000 的记录第三行用~做正则匹配判断第一个字段是否以 2024-06 开头。~是匹配运算符!~是不匹配右侧支持完整 POSIX 正则语法。这里有个容易被忽略的细节正则匹配默认作用于整行/ERROR/等价于$0 ~ /ERROR/如果你只想匹配某一列必须写成$3 ~ /ERROR/。范围模式用逗号连接两个条件从第一个条件成立的行开始到第二个条件成立的行结束两端都包含。这个特性在提取日志中的区间段——一次请求的开始行到结束行、一段配置的起始标记到终止标记——时非常高效。awk /REQUEST START/,/REQUEST END/ debug.log注意范围模式的边界行为如果结束条件一直没出现awk 会一直输出到文件末尾不会自动停止。所以写范围模式前必须先确认数据里确实存在结束标记否则输出量会远超预期把整个终端刷爆。范围模式也常与 NR 配合提取指定行区间比如NR 100 NR 200这个写法比 sed 的100,200p更直观——每次读一行自己做区间判断条件之间还能自由加字段筛选比如同时限定第 2 列等于某个值。3. 从入门到能用的最小命令集字段提取、统计与格式化输出3.1 最常用的十个 awk 命令模板学 awk 最快的方式不是背语法而是手里有一批能直接改参数的命令模板。下面这十个模板覆盖了日常运维和开发中八成以上的文本处理需求每个都可以在真实文件上直接跑改列号、改条件就能适配你的数据。# 1. 提取指定列 awk {print $1, $3} data.txt # 2. 按条件过滤后提取 awk $3 200 {print $1} access.log # 3. 统计行数 awk END {print NR} file.txt # 4. 统计某列总和 awk {sum $4} END {print sum} file.txt # 5. 求某列平均值 awk {sum $5; n} END {print sum/n} file.txt # 6. 求某列最大值 awk BEGIN {max0} {if ($2 max) max$2} END {print max} file.txt # 7. 按第一列去重 awk !seen[$1] {print $1} file.txt # 8. 按第一列分组计数 awk {cnt[$1]} END {for (k in cnt) print k, cnt[k]} file.txt # 9. 提取两列后交给 sort 排序取前 N awk {print $2, $1} file.txt | sort -rn | head -10 # 10. 生成 SQL 插入语句 awk {printf INSERT INTO t VALUES (%d, \%s\);\n, $1, $2} data.txt模板 7 的!seen[$1]是 awk 去重的经典写法seen[$1]初始为 0后置先返回旧值再自增第一次遇到某值时!0为真打印该行以后再遇到seen[$1]已经大于 0!seen[$1]为假跳过。模板 8 把字段值作为关联数组下标做计数END 里遍历数组输出。这两个模板背后是同一个核心概念——关联数组第 3.3 节会专门拆开讲。模板 9 依赖外部命令 sort这符合 awk 的设计哲学awk 不负责排序排序交给 sort——awk 只负责提取和重组。很多人试图在 awk 内部维护有序结构代码又长又容易出错。awk 的输出可以继续走管道组合sort、uniq、head才是命令行生态的正确用法。模板 10 展示的是 awk 生成程序代码的典型场景从数据文件直接生成 SQL 或配置文件%d和%s的占位写法保证输出严格可控。3.2 printf 格式化输出对齐与控制精度awk 的print只能做简单拼接遇到对齐、补零、控制小数位就得用printf。它的格式控制符和 C 语言一致%s字符串、%d整数、%f浮点数、%e科学计数法。修饰符%-10s表示左对齐占 10 位%8.2f表示占 8 位保留 2 位小数。没有修饰符时%s按内容实际长度输出%d和%f按最短表示输出这在生成报表时远远不够。awk {printf %-15s %8.2f\n, $1, $2} scores.txt这段输出第一列左对齐占 15 位第二列右对齐占 8 位且保留两位小数。\n必须显式写出因为printf不会像print那样自动追加换行。忘记\n是所有 awk 入门者必踩的坑——输出会全部挤在同一行看起来像数据丢了其实只是换行符没打。我见过有人在输出末尾补一个空的print 来换行不如直接在格式串里写\n干净。printf 在生成报表时尤其重要。统计完各状态码数量后用%-6s对齐状态码、%10d对齐计数输出直接就是一张排好版的表放进工单或邮件里不需要二次加工。printf还能做字符串截断%.5s只输出字符串前 5 个字符处理超长 URL 或日志消息时非常实用——先截断再对齐既控制宽度又防止排版破裂。格式化输出不是锦上添花而是 awk 从「能用」走向「好用」的分水岭。3.3 关联数组分组统计和去重的正确姿势关联数组是 awk 最强大的特性没有之一。它的下标可以是数字、字符串甚至正则匹配结果底层是哈希表。这意味着你可以用任意字段值做分组键把一个文件压缩成任意维度的统计结果。Python 里要用 defaultdict 加循环才能做完的事awk 里一个数组加一个 END 循环就结束了而且不需要引入任何外部依赖。awk {status[$9]} END {for (s in status) print s, status[s]} access.log | sort -rn这段统计 Web 日志第 9 列HTTP 状态码的分布。status[$9]以下标为键每次遇到相同状态码就自增。END 里用for (s in status)遍历所有键。注意 awk 数组的遍历顺序是哈希顺序不是插入顺序也不是排序顺序所以要按数量排序必须走管道交给 sort——这一点和第 3.1 节模板 9 的原则完全一致。awk {ip[$1]} END {for (k in ip) if (ip[k] 100) print k, ip[k]} access.log | sort -k2 -rn这段在分组计数的基础上加了阈值过滤只输出出现次数超过 100 的 IP并按次数降序排列。它展示了关联数组的三个关键能力动态创建下标、END 中遍历、结合 if 做过滤。需要警惕的是当数组元素到几十万级别时遍历耗时会明显上升这时应该先在动作块里做前置过滤比如排除内网 IP、排除静态资源请求再入数组而不是把所有数据都塞进数组最后再筛。关联数组还有一个隐藏能力多维模拟。awk 没有真正的多维数组但可以把多个键用分隔符拼成一个下标比如count[$1 SUBSEP $2]其中SUBSEP是 awk 内置的下标分隔符默认值是一个不可见控制字符\034。这样就能实现按字段交叉分组统计——同时统计 IP 和状态码的组合频次或者同时统计日期和接口的请求量。输出时用split(k, arr, SUBSEP)把组合键拆回去就还原了每一维的值。4. 字符级控制FS、RS、OFS、ORS 的排列组合4.1 处理 CSV 和日志分隔符的那些坑默认的 FS 是空白但真实数据几乎不会这么干净CSV 用逗号、日志用竖线或 Tab、配置文件用冒号每种分隔符都有自己的坑。改 FS 的方式有两种命令行用-F参数脚本里在 BEGIN 块中给 FS 赋值。-F后面跟的内容会被当作正则表达式解析这一点是整个第 4 章最容易出错的地方。awk -F, {print $1, $3} data.csv awk -F[|:] {print $1, $2} config.txt第一个命令处理逗号分隔的 CSV第二个用字符组[|:]同时支持竖线和冒号两种分隔符。因为-F的值是正则而不是字面字符串遇到特殊字符必须转义或放进字符组。处理竖线分隔的文件时直接写-F|是错的——在正则里|表示或单独一个|匹配空串结果整行被切成一个个字符。必须写成-F\\|或-F[|]。这是 awk 入门者翻车频率最高的单个错误。CSV 的另一个坑是引号包裹的字段。标准 CSV 里字段可能包含逗号比如Smith, John,28单纯用-F,会把引号内的逗号也当成分隔符一个字段被切成两段后续所有列的编号全部错位。awk 没有内置 CSV 解析器常见的补法是用 Gawk 的FPAT变量不再按分隔符切而是按字段内容的模式来抓取FPAT [^,]*|\[^\]*\能正确处理带引号的字段。另一个思路是把先替换掉再切分但那会丢失引号内的原始信息慎用。4.2 多行记录处理RS 的进阶用法默认的 RS 是换行符一条记录就是一行。但有些数据的逻辑记录跨越多行一段多行日志、一个被换行拆开的 SQL、一段带缩进的配置文件。这时把 RS 改成空串awk 会把连续的非空行当成一条记录这就是「段落模式」。awk BEGIN {RS} {print NR, $0} paragraphs.txtRS 设为空串时awk 会自动把 FS 改成换行符加空白也就是说记录内的字段默认以换行为分隔。这个行为是 POSIX 规范强制规定的非常容易让人困惑——你以为只改了 RS结果字段切分方式也跟着变了。解决方法是显式重新指定 FS比如awk BEGIN {RS; FS\n}让一条记录按行切字段每行一个字段这样段落内部的每一行都变成了独立的$n。更进阶的用法是把 RS 设成自定义的多字符分隔符。Gawk 支持 RS 为正则表达式比如awk BEGIN {RS[0-9]\\.[0-9]\\.[0-9]\\.[0-9]}把 IP 地址当成分隔符在处理大段无换行的连续文本时把特定模式当边界。但 RS 是正则时Gawk 的行为和旧版 awk 不同——旧版只把正则中的首个字符当字面量处理跨平台脚本里要留意这个差异。我的建议是RS 的正则用法只在本机 Gawk 环境用别把这类脚本带到别的 Unix 平台。4.3 字段与记录分隔改一处崩三处的连锁效应FS、OFS、RS、ORS 四个变量不是独立工作的。FS 决定输入怎么切成字段OFS 决定print输出多个字段时用什么拼接RS 决定输入怎么切成记录ORS 决定输出记录用什么结尾。很多人只改了输入端的变量没改输出端的配套变量输出就变得面目全非。awk -F, BEGIN {OFS|} {print $1, $2, $3} data.csv这段把 CSV 输入转成竖线输出。-F,控制输入字段分隔BEGIN 里的OFS|控制输出字段拼接。如果忘了设 OFSprint $1, $2, $3默认用空格拼接你会得到一堆「看起来被压缩了」的输出——不是数据丢了是分隔符没跟上。更隐蔽的情况是输入文件用逗号输出也想用逗号但希望统一格式结果忘了 OFS 默认是空格生成的文件再被下一个程序读取时又得重新切。最典型的连锁反应发生在 RS 和 ORS 不配对时。你把 RS 改成空串做段落模式但 ORS 还是默认的换行符输出时每条段落之间只有一个换行段落内的行结构全丢了。反过来把 ORS 改成\n\n每条记录输出后多一个空行如果你还想用另一个 awk 命令按段落模式读取输出这个空行又会干扰 RS 的判定。处理思路是改任何输入分隔符时先问自己输出端需要什么结构——是保持原样还是转换成另一种结构。四个变量建议成对检查尤其是从别人的 awk 脚本改写时继承下来的分隔符配置最容易埋雷。5. awk 避坑指南五个最容易翻车的场景5.1 数字比较失效看起来是数字其实是字符串现象awk $3 100 result.txt过滤出的结果包含了 20、50 等明显小于 100 的值甚至把非数字行也输出了。原因awk 变量没有严格类型一个值如果曾经被当作字符串使用后续比较就走字符串比较。在 POSIX awk 里只有当两个操作数都是数值时才会做数值比较否则按字典序比较。比如第三列的值是25但前面代码对该列做过正则匹配或字符串拼接它就被标记为字符串类型25 100在字典序下成立于是被错误地保留了下来。解决强制数值化。最常见写法是在比较前让变量参与一次数值运算$3 0 100让 awk 明确按数值处理。Gawk 下可以用strtonum($3)显式转换。血泪经验是一旦发现比较逻辑正确但结果不对优先怀疑类型标记而不是怀疑语法——awk 不报错所以这类问题只能靠经验定位。5.2 字符串拼接错位print 的逗号与空格陷阱现象awk {print $1 $2}输出两个字段黏在一起没有分隔你可能本意是想并列输出两列。原因在 print 语句里逗号分隔的项用 OFS 连接紧挨着的项没有逗号直接做字符串拼接。print $1 $2是拼接print $1, $2才是字段输出。这个语法差异新手几乎必踩因为视觉上逗号很容易被忽略。更麻烦的是拼接行为符合预期时你可能根本意识不到自己写的是拼接——直到某天你想在字段间加个分隔符才发现输出完全不受 OFS 控制。解决如果要拼接用$1 - $2显式写连接符号如果要输出多列用逗号分隔。排查时先看 print 语句里写的到底是逗号还是空格。另外一个相关陷阱是print $1 $2 file的重定向优先级问题——的优先级高于拼接但代码一复杂就容易把重定向目标误当成拼接串的一部分输出文件里出现奇怪的路径前缀。我建议所有涉及重定向的 print 都加括号print ($1 $2) file。5.3 中文日志乱码awk 处理多字节编码的边界现象日志里有中文awk 按字节切分字段结果中文被拦腰截断输出乱码统计出来的字符数和肉眼看到的完全对不上。原因awk 默认按字节处理不识别多字节字符编码。UTF-8 下一个中文字符占 3 个字节awk 并不知道这三个字节是一个整体所以按字节定位字段、计算长度都会出错length()返回的是字节数而不是字符数。解决Gawk 4.0 以上支持多字节模式但前提是编译时启用了对应支持且环境中LC_ALL必须设置为 UTF-8 相关的 locale。最稳妥的做法是awk 只处理结构化的英文或数字字段中文文本的清洗和切分交给 Python 或专门的文本处理工具。许多团队的经验是先把中文日志统一转成 UTF-8 编码再用 awk 只提取时间戳、级别、IP 等 ASCII 字段中文内容原样透传不参与切分乱码问题就绕开了。别试图让 awk 去理解中文语义它不是为这个设计的。5.4 gsub 全局替换的副作用替换比你想的多现象用gsub(/a/, b, $1)想把字段里的 a 换成 b结果所有 a 都被替换了包括原本不想动的位置或者替换后字段顺序变了$2变成了旧$3的值后续处理全乱。原因gsub 做的是全局替换会替换目标字符串中所有匹配项。而且 gsub 会修改第三个参数对应的字段默认是$0修改后 awk 会重建整条记录——NF和所有$n都按新的$0重新切分。如果你在 gsub 之后继续用旧的$2、$3概念拿到的已经是重建后的新值行号和字段编号的对应关系全部失效。解决先明确 gsub 的语义是「原地修改并返回替换次数」。如果后面还要用原值先用old $1保存再替换。如果只想替换第一个匹配用sub()。另外一个冷门但真实的坑gsub 的替换文本里会被替换成原始匹配内容想输出字面必须写成\\。凡是替换后带正则或带的我都建议先在命令行用小样本验证一遍输出再跑全量数据。5.5 管道与外部命令system 调用的黑匣子现象在 awk 里用system(date)或者while ((cmd | getline line) 0)读取外部命令输出结果要么输出顺序错乱要么拿到空值甚至整个 awk 进程卡住不动。原因awk 的 system 函数直接 fork 子进程但子进程的输出不会自动进入 awk 的输出流而是直接打到终端和 awk 自己的输出混在一起顺序完全不可控。cmd | getline则涉及管道的打开与关闭时机——管道默认不会自动关闭重复使用同一个命令字符串时awk 会复用已打开的管道读到的是上次的残留数据或直接 EOF。解决cmd | getline用完后必须显式close(cmd)否则下次调用同名命令拿不到新数据。但实际项目中我更推荐两条路一是把外部命令的输出先重定向到临时文件再用 awk 读该文件二是反过来awk 处理完输出后用管道交给 shell 的外部命令。awk 擅长文本处理不擅长进程管理和并发把外部调用降到最低是减少玄学问题的根本方法。我见过有人在循环里反复system(curl ...)性能差且不可控这种场景应该用 shell 脚本或 Python 而不是 awk。6. 从会用走向精通自定义函数与一个可复用的日志分析脚本自定义函数是 awk 从「命令行工具」走向「脚本语言」的关键一步。函数定义放在 BEGIN 块之前格式是function 名字(参数) { 体 }。函数内可以访问全局变量也可以模拟局部变量——awk 通过在参数列表末尾追加额外参数来实现局部变量调用时这些参数不必传值它们只在函数体内有意义。这个机制初看很怪但用顺手之后非常实用因为你不需要像 C 语言那样声明一堆局部变量。function max(a, b) { return (a b) ? a : b } { if ($2 top) { top $2 } } END { print max:, top }函数体里用三元表达式返回较大值top是全局变量在动作块中累加。注意函数内修改全局变量会影响主流程——如果你想让函数变成纯计算工具临时变量一律写在参数列表里例如function calc(a, b, tmp)tmp调用时不传参但会被 awk 当作函数内的局部变量处理不影响主流程的同名变量。下面给一个完整可复用的脚本它把一次访问日志的分析浓缩成一个 awk 程序覆盖字段提取、分组统计、格式化输出、自定义函数四个能力。把这段代码存成report.awk文件用awk -f report.awk access.log直接执行。#!/usr/bin/awk -f BEGIN { FS print Access Log Report } { # 约定$1 为 IP$9 为状态码$10 为响应字节数 ip[$1] status[$9] total_bytes $10 if ($9 ~ /^5/) { err5xx[$1] } } END { print Unique IPs:, length(ip) printf Total bytes: %d\n, total_bytes print \n-- Status Codes -- for (s in status) printf %s %d\n, s, status[s] print \n-- 5xx by IP -- for (k in err5xx) printf %s %d\n, k, err5xx[k] }这个脚本有意识地展示了几个关键习惯BEGIN 里显式初始化 FS 并打印表头动作块里用三个数组分别累积不同维度END 里用length(array)获取数组元素个数Gawk 扩展旧版 awk 需要自己用计数器累加$9 ~ /^5/用正则匹配 5xx 状态码。字段映射关系写成了注释放在动作块开头——这是 awk 脚本最重要的注释位置三个月后回看脚本你能靠它快速回忆起每一列的含义。但它也有一个明显短板没有输出 Top 5 IP。原因是数组遍历是哈希序awk 内部做不了高效排序。正确的补法是拆两步第一步用 awk 输出IP 计数两列第二步交给sort -k2 -rn | head -5。不要试图在 awk 内部维护有序结构——awk 负责提取和聚合排序交给 sort各司其职才是命令行生态的正解。验证这个脚本正确性的方法也很简单先把输入文件截小样本head -1000 access.log sample.log跑一遍脚本人工核对几个关键数字再逐步放大样本对比统计结果的稳定性。如果小样本和大样本的「唯一 IP 数」差距异常大说明数据里可能有大量动态 IP 或伪造来源需要调整字段提取逻辑。最后一个建议来自我的个人习惯awk 脚本的字段映射注释永远不能省。awk 语法足够紧凑紧凑到不加注释就会变成加密文本。把字段映射和数组的下标含义写清楚这是我从入门到精通过程中最值得的一笔投入。希望帮到你。本文还有配套的精品资源点击获取
阅读完成 · 觉得有帮助？
