Linux awk工具简单学习记录

awk是一个文本分析工具,它把文件逐行读入,以特定符号将每行切分(默认空格为分隔符),切开的部分再进行各种分析处理。

awk其名称得自于它的创始人Alfred Aho 、Peter Weinberger 和Brian Kernighan 姓氏的首个字母。

事实上,awk有4个不同版本:awk、nawk和gawk,还有一个是mawk。gawk 是AWK的GNU版本,通常未作特别说明的awk一般指的是gawk。在RedHat系统中,默认是gawk,而在Ubuntu系统中,默认是mawk。如果需要使用gawk,可以使用apt-get来进行安装,如下:

sudo apt-get install gawk -y

  安装完毕后,默认即为gawk,如果还不是默认,可以通过 update-alternatives 命令来进行更改,如下:

sudo update-alternatives --config awk

  可以通过输入编号来设置默认的awk版本:

Linux awk工具简单学习记录

下面是关于awk的使用帮助:

Linux awk工具简单学习记录

像其他编程语言一样,awk中有一些内置变量,内置变量部分列表如下(重要且常用):

属性 说明
$0 每次读入的一整行
$1 ~ $n 当前读入行的第n个字段
FS 字段分隔符,默认是空格
NF 当前读入行中的字段个数,也即有多少列
NR 累计读入行的数量,从1开始,多文件处理时累加
FNR 已经读入某一文件行的数量,就是行号,从1开始,多文件处理时不累加
ARGC 命令行参数个数
ARGV 命令行参数数组
BEGIN 程序开始之前要做的事(仅做一次)
END 程序结束之前要做的事(仅做一次)
FILENAME 当前输入文件的名字

awk中的数组无需提前声明,数组下标也不必为整数int类型,可以为字符串string类型,与其说是数组,不如说是映射。

数组下标从1开始,而不是从0开始。

使用for ... in 遍历数组时,每次遍历取得的是数组的index索引,而不是数组元素。

结合上面列举的几个知识点,用个具体例子展示一下。对于有如下的文件:

$ cat word.txt

123456@163.com----a3452801----186035955----123456@163.com
123123@qq.com----wg123123----150731947----123123@qq.com
777888@163.com----li600613----136498718----777888@163.com
456654@qq.com----try649471----134169500----456654@qq.com
159741@qq.com----somechou----186966954----159741@qq.com

  现在使用awk先输出“第X列”,然后再读取每一列,代码如下:

awk -F'----' 'BEGIN {print "第一列\t\t第二列\t\t第三列\t\t第四列"} {for(a=1;a<=NF;a++) printf("%s\t",$a);print ""}' word.txt

 程序执行结果:

Linux awk工具简单学习记录

说明:先使用"-F"选项以及"----"字符串指出如何切分每一行,然后在程序开始之前打印一次“第X列”。之后用 for 循环来读取一行中的每一列,for 循环中用到了内置变量NF,NF如前所述,是总的列数量。最后使用 print ""来打印一个换行,print必须带一个空字符串"",否则默认打印每一个列。

下面再用个例子来展示awk中的一种数组功能,文件及其内容依然是上面所给出的那样,这次是将每一列作为一行打印出来,代码如下:

awk -F'----' '{for(a=1;a<=NF;a++) arr[(NR-1)*NF+a]=$a}  END{for(each in arr) print arr[each]}' word.txt

 程序执行结果:

Linux awk工具简单学习记录

说明:先使用"-F"选项以及"----"字符串指出如何切分每一行。之后用 for 循环来读取一行中的每一列,for 循环中用到了内置变量NF和NR,用NF和NR来计算每一列的index索引并放入数组arr中。这里需要注意的是 a 和 $a,a表示的是下标索引,$a表示的索引对应的值。最后在程序结束之前使用 for ... in 循环遍历数组,将每一列作为一行打印出来。

最后,一个关于awk的坑,在awk中,处理逻辑部分的语句,不要使用双引号,而要使用单引号,否则会出现无法切割的问题,这与shell的变量$是否解释没有关系,如下:

cat a.txt|awk -F "=" "{print 'yes'}"

如果上面的{print yes}使用双引号包含,则会无法切割每一行,必须使用单引号,应该为 ' { print "yes" } '

上一篇:51nod 1086 背包问题 V2 【二进制/多重背包】


下一篇:如何使用 Python 创建一个 NBA 得分图?