Linux awk命令详解

一、awk命令介绍

  除了使用 sed 命令,Linux 系统中还有一个功能更加强大的文本数据处理工具,就是 awk。它诞生于 20 世纪 70 年代末期,这也许是它影响了众多 Linux 用户的原因之一。曾有人推测 awk 命令的名字来源于 awkward 这个单词。其实不然,此命令的设计者有 3 位,他们的姓分别是 Aho、Weingberger 和 Kernighan,awk 就取自这 3 为大师姓的首字母。和 sed 命令类似,awk 命令也是逐行扫描文件(从第 1 行到最后一行),寻找含有目标文本的行,如果匹配成功,则会在该行上执行用户想要的操作;反之,则不对行做任何处理。

  awk 命令的基本格式为:

[root@localhost ~]# awk [选项] 脚本命令 文件名

  此命令常用的选项以及各自的含义,如下表所示:

选项 含义
-F fs 指定以 fs 作为输入行的分隔符,awk 命令默认分隔符为空格或制表符
-f file 从脚本文件中读取 awk 脚本指令,以取代直接在命令行中输入指令
-v var=val 在执行处理过程之前,设置一个变量 var,并设置初始值为 val

 awk 的强大之处在于脚本命令,它由 2 部分组成,分别为匹配规则和执行命令,如下所示:

匹配规则{执行命令}

  这里的匹配规则,和 sed 命令中的 address 部分作用相同,用来指定脚本命令可以作用到文本内容中的具体行,可以使用字符串(比如 /demo/,表示查看含有 demo 字符串的行)或者正则表达式指定。另外需要注意的是,整个脚本命令是用单引号(‘‘)括起,而其中的执行命令部分需要用大括号({})括起来。在 awk 程序执行时,如果没有指定执行命令,则默认会把匹配的行输出如果不指定匹配规则,则默认匹配文本中所有的行

  举个简单的例子:

[root@localhost ~]# awk /^$/ {print "Blank line"} test.txt

  在此命令中,/^$/ 是一个正则表达式,功能是匹配文本中的空白行,同时可以看到,执行命令使用的是 print 命令,此命令会经常使用,它的作用很简单,就是将指定的文本进行输出。因此,整个命令的功能是,如果 test.txt 有 N 个空白行,那么执行此命令会输出 N 个 Blank line。

二、awk使用数据字段变量

  awk的主要特性之一是处理文本文件中数据的能力,它会自动给每一行中的每个数据元素分配一个变量。

  默认情况下,awk 会将如下变量分配给它在文本行中发现的数据字段:

  • $0 代表整个文本行;
  • $1 代表文本行中的第 1 个数据字段;
  • $2 代表文本行中的第 2 个数据字段;
  • $n 代表文本行中的第 n 个数据字段。

  前面说过,在 awk 中,默认的字段分隔符是任意的空白字符(例如空格或制表符)。 在文本行中,每个数据字段都是通过字段分隔符划分的。awk 在读取一行文本时,会用预定义的字段分隔符划分每个数据字段。所以在下面的例子中,awk 程序读取文本文件,只显示第 1 个数据字段的值:

[root@localhost ~]# cat data2.txt
One line of test text.
Two lines of test text.
Three lines of test text.
[root@localhost ~]# awk {print $1} data2.txt
One
Two
Three

  该程序用 $1 字段变量来表示“仅显示每行文本的第 1 个数据字段”。当然,如果你要读取采用了其他字段分隔符的文件,可以用 -F 选项手动指定。

 

Linux awk命令详解

上一篇:Redis的底层实现---字符串章节,Java面试题最新


下一篇:SpringBoot中使用联合主键