Linux 之AWK 命令
简介
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在对数据分析并生成报告时，显得尤为强大。
简单来说awk就是把文件逐行的读入，以空格默认分隔符将每行切片，切开的部分再进行各种分析处理。
awk 有3个不同的版本：awk、nawk和gawk，未作特别说明，一般指gawk，gawk是awk的gnu版本，
awk其名称得自于它的创始人 Alfred Aho、Peter Weinberqer和Brian Kerniqhan姓氏的首个字母。
实际上awk的确拥有自己的语言：awk程序设计语言，
三位创建者已将它正式定义为“样式扫描和处理语言”。
它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能
使用方法
awk '{pattern + action}' {filenames}
尽管操作可能会很复杂，但语法总是这样，其中pattern表示awk在数据中查找的内容，而action是在找到匹配内容时所执行的一系列命令，
花括号({}) 不需要在程序中始终出现，但他们用于根据特定的模式对一系列指令进行分组。
pattern就是要表示的正则表达式，用斜杠括起来。
awk语言的最基本功能是在文件或者字符串中基于制定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。
完整的awk脚本通常用来格式化文本文件中的信息，
通常，awk是以文件的一行为处理单位的，awk没接收文件的一行，然后执行相应的命令，来处理文件。
调用awk
有三种方式调用awk
1、命令行方式
awk [-F field-separator] 'commands' input-file(s)
其中，commands是真正awk命令，注意必须用单引号， [-F 域分隔符]是可选的。 input-file(s) 是待处理的文件。
在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F 域分隔符的情况下，默认的域分隔符是空格。
2、shell脚本方式
将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，通过脚本名称来调用，
相当于shell脚本首行的：#! /bin/sh
可以换成：#! /bin/awk
3、将所有的awk命令插入一个单独文件，然后调用：
awk -f awk-script-file input-file(s)
其中，-f 选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。
入门示例
假设last -n 5的输出如下
last -n 5 <==仅取出前五行
如果只是显示最近登录的5个账号
last -n 5 | awk '{print $1}'
awk工作流程是这样的：读入有'\n'换行符分割的一条记录，然后将记录按照指定的域分隔符分域，填充域，$0则表示所有的域，
$1表示第一个域，$n表示第n个域。默认域分隔符是“空白符”或者“[tab]键”，所以$1表示登录用户，$3表示登录用户ip，以此类推。
如果只是显示/etc/passwd的账户
cat /etc/passwd | awk -F ':' '{print $1}'
这种是awk+action的示例，每行都会执行action{print $1}。
-F指定分隔符为‘:’。
如果只是显示/etc/passwd的账户和账户对应的shell，而账户与shell之间tab键分割
cat /etc/passwd | awk -F ':' '{print $1"\t"$7}'
如果只是显示/etc/passwd的账户和账户对应的shell，而账户与shell之间以逗号分割，而且在所有行添加列明name,shell，在最后一行添加"blue,/bin/nosh"。
cat /etc/passwd | awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print “blue,/bin/nosh”}'
awk工作流程是这样的：先执行BEGIN，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，$0则表示所有域，
$1表示第一个域，$n表示第n个域，随后开始执行模式所对应的动作action。
接着开始读入第二条记录......直到所有的记录都读完，最后执行END操作。
搜索/etc/passwd有root关键字的所有行
awk -F '/root/' /etc/passwd
这种是pattern的实用实例，匹配了pattern（这里是root）的行才会执行action（没有指定action，默认输出每行的内容）。
搜索支持正则，例如找root开头的：awk -F ':' '/^root/' /etc/root/
搜索/etc/passwd有root关键字的所有行，并显示对应的shell
awk -F ':' '/root/ {print $7}' /etc/passwd
这里制定了action{print $7}
awk内置变量
awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。
ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符，等价于命令行 -F选项
NF 浏览记录的域个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符
此外，$0变量是指整条记录，$1表示当前行的第一个域，$2表示当前行的第二个域，.......以此类推。
统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容：
awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
使用printf替代print，可以让代码更加简洁，易读
awk -F ‘:’ '{printf("filename%10s,linenumber:%s,columns:%s,linecontent:%s\n", FILENAME, NR, NF, $0)}' /etc/passwd
print和printf
awk中同时提供了print和printf两种打印输出的函数。
awk中同时提供了print和printf两种打印输出的函数。
其中，print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分割。
如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。
printf函数，其用法和c语言中printf基本相似，可以格式化字符串，输出复杂时，printf更加好用，代理更易懂。
awk编程
变量和赋值
除了awk的内置变量，awk还可以自定义变量。
下面统计/etc/passwd的账户人数
sed--------讲解
概述：
sed是steam editot的简称，也就是流编辑器。它一次处理一行内容，处理时，把当前处理的行存储在临时缓冲区中，称为“pattern space”，
接着sed命令处理缓冲区的内容，处理完成后，把缓冲区的内容。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。
语法
命令格式
sed [option] 'command' input-file
常用选项
1、-n使用安静silent模式。在一般sed的用法中，所有来自stdin的内容一般都会被列出到屏幕上。但
如果加上-n参数后，则只有经过sed特殊处理的那一行才会被列出来。
2、-e直接在指令列模式上进行sed的动作编辑
3、-f 直接将sed的动作写入一个文件内，-f filename则可以执行filename内的sed命令
4、-r 让sed命令支持扩展的正则表达式（默认是基础表达式）
5、-i 直接修改读取的文件内容，而不是由屏幕输出
常用命令
①、a\：追加行，a\的后面跟字符串s（多行字符换可以用\n分割），则会在当前选择的行的后面都加上字符串s
②、c\：替换行，c\后面跟上字符串s（多行字符串可以用\n分割），则会将当前选中的行替换成字符串s
③、i\：插入行，i\后面跟上字符串s（多行字符串可以用\n分割），则会在当前选中的行的前面都插入字符串s
④、d：删除行delete，该命令会将当前选中的行删除。
⑤、p：打印print，该命令会打印当前选择的行到屏幕上
⑥、y：替换字符，通常y命令的用法是这样的：y/Source-chars/Dest-chars/，分割字符/可以用任意单字符代替，用Dest-chars中对应位置的字符替换掉
Source-chars中对应位置的字符。
⑦、s:替换字符串，通常s命令的用法是这样的：1，$s/Regexp/Repacement/Flags，分割字符/可以用其它任意字符代替，用Replacement替换掉匹配字符串
替换选项
①、\digit：Replacement中可含有后向引用中的\digit(digit是1至9)，引用前面定义的子表达式
②、&：代表模板空间中的整个匹配部分，
③、\L：将在其后的替换部分转成小写字母，直到发现一个\U或者\E,GNU扩展功能
④、\l：讲下一个字符转换为小写字母，GNU扩展功能
⑤、\U:将在其后的替换部分转换为大小字母，直到发现一个\L或者\E，GNU扩展功能
⑥、\u：将下一个字符转换为大小字母，GNU扩展功能
⑦、停止由\L或者\U指示开始的大小写转换，GNU扩展功能
标志选项
①、g：将用Replacement替换模板空间中所有匹配Regexp的部分，则不仅仅是第一个匹配部分
②、digit：只用Replacement替换模板空间中第digit（digit是1至9）个匹配Regexp的部分
③、p：若发生了替换操作，指示显示模板空间中新的数据
④、w file-name：若发生了替换操作，指示将模板空间中新的数据写入指定的文件file-name中
⑤、i：表示进行Regexp撇皮时，是不区分大小写字母的
示例：
a命令
①、sed '1,$a\add one' test.txt 从第一行到最后一行所有行后追加"add one"字符串行
②、sed '/first/a\add one' test 在匹配first行追加"add one" 字符串行
i命令
与a命令类型，只不过在匹配的行前面插入字符串行
c命令
①、sed '1,$c\add one' test.txt 从第一行到最后一行替换为"add one"字符串行
②、sed '/first/c\add one' test.txt 将匹配到first行替换为"add one"字符串行
d命令
①、sed '4,$d' test.txt 从第四行到最后一行全部删除
p命令
①、sed -n '/^hello.*end$/p' test.txt 以first开头end结尾的所有行全部打印
s命令
①、sed 's/line/text/g' 将所有行的line替换为text，g代表全局选项，没有g只替换所有行的第一个匹配项
②、sed '/^first.*end$/s/line/text/g' test.txt 匹配以first开头end结尾的所有行，然后将line全部替换为text
③、sed '/\(.*\)line$/\1/g' test.txt 本例中的\(\)中包裹的内容表示正则表达式的第n部分，.*表示任意字符串，
所以此例相当于删除所有行未的line。
基本正则表达式
元字符 说明
* 将*前面的正则表达式匹配的结果重复任意次(含0次)。
\+ 与星号(*)相同，只是至少重复1次，GNU的扩展功能。
\? 与星号(*)相同，只是最多重复1次，GNU的扩展功能。
\{i\} 与星号(*)相同，只是重复指定的i次。
\{i,j\} 与星号（*）相同， 只是重复i至j次
\{i,\} 与星号（*）相同，只是至少重复i次，
\(regexp\) 将Regexp看做一个整体，用于后向引用，与\digit配合使用匹配任意单个字符，
. 匹配任意单个字符。
^ 匹配模板空间开始处的null字符串。
$ 匹配的实木板空间结束处的null字符串。
[list] 匹配方括号中的字符列表中的任意一个字符。
[^list] 否定匹配方括号中的字符列表中的任意一个。
regexp1\|pegexp2 用在相邻的正则表达式之间，表示匹配这些正则表达式中任意一个都可以。
匹配是从左向右开始的，一旦匹配成功就停止匹配。
regexp1regexp2 匹配Regexp1和Regexp2的连接结果。
\digit 匹配正则表达式前半部分定义的后向引用的第digit个子表达式。digit为1至9的数，
1为从左开始。
\n 匹配换行符。
\meta 将元字符meta转换成普通字符，以便匹配该字符本身，$、 *、 .、 [、 \ 和 ^
常用转义字符
转义字符表
转义字符 说明
\a 匹配一个BEL字符。
\f 匹配一个换页字符
\n 匹配一个换行字符。
\r 匹配一个回车字符。
\t 匹配一个水平tab字符。
\v 匹配一个垂直tab字符。
\cX 匹配Control+X，x是任意字符。
\dXXX 匹配一个ASCII码是十进制XXX的字符。
\oXXX 匹配一个ASCII码是八进制XXX的字符。
\xXX 匹配一个ASCII码是十六进制XX字符。
\w 匹配任意一个单词字符（字母、数字和下划线）。
\W 匹配任意一个非单词字符。
\b 匹配一个单词的边界符：字符的左边是一个单词字符，并且右边是一个非单词字符。
\B 匹配除单词边界符外所有字符：字符的左边界和右边同时单词字符或者非单词字符。