awk文本分割输出工具（按列输出工具）
awk [options] ' PATTERN { action } ' file1, file2, ...
内置变量：
FS：field separator，输入列分隔符（哪个字符分割两个列），默认是空白字符；
RS：Record Separator，输入换行符（哪个字符分割行），默认是换行符；
OFS：Output Field Separator，输出列分隔符；
ORS：Output Row Separator，输出行分隔符； NR：The number of input records，awk所处理的行数（不同文件顺序计数）；
FNR：awk处理当前文件时所处理的行数（不同文件各自计数）；
NF：Number of field，当前行的字段总数（总列数）；
例如现有一个文本文件，名为test.txt，内容为
this is a test mail
this is the second line.
1、输出整段文本
awk '{ print $0 }' test.txt
2、输出文本的第二列和第三列
awk '{ print $2, $3 }' test.txt
结果：
is a
is the
3、指定输出的分隔符为“##”，输出前三列
awk 'BEGIN{OFS="##"}{print $1, $2, $3}' test.txt
结果为：
this##is##a
this##is##the
4、指定输出分隔符“:"，输出前两列
awk 'BEGIN{OFS=":"}{print $1, $2}' test.txt
结果：
this:is
this:is
5、输出时插入指定文本，例如插入hello
awk 'BEGIN{OFS=":"}{print $1, "hello", $2}' test.txt
结果：
this:hello:is
this:hello:is
6、直接输出文字
awk 'BEGIN{ print "line one\nline two\nline three" }'
结果：
line one
line two
line three
7、统计每行有多少列
awk '{ print NF }' test.txt
结果：
8、输出文件的最后一列
awk '{ print $NF }' test.txt
结果：
line.
9、输出文件倒数第二列
awk '{ print $(NF-1) }' test.txt
结果：
test
second
10、awk命令中定义变量 -v 变量名="变量值"
awk -v variable="hello world" 'BEGIN{print variable}'
awk 'BEGIN{variable="hello world"; print variable}'
结果：
hello world
11、printf显示输出
printf format, item1, item2, ...
format包括：
%c：显示字符ASCII码
%d，%i：十进制整数
%e，%E：科学计数法
%f：浮点数
%g，%G：科学计数或浮点数
%s：字符串
%u：无符号数
%%：显示%自身
例如：
awk '{printf "%10s\n", $3}' test.txt
结果：
a
the
12、赋值操作符、算术操作符、字符串操作符
赋值：= += -= *= /= %= ^= **=
算术：-x +x x^y x*y x/y x-y x+y x%y
比较：x < y x>=y x!=y x~y（模式匹配）
条件表达式：selector?if-true-exp:if-false-exp
逻辑：&& ||
如，查找/etc/passwd下以字母r开头的用户名
awk -F: '/^r/{print $1}' /etc/passwd
awk 'BEGIN{FS=":"}/^r/{print $1}' /etc/passwd
结果：
root
13、显示uid大于500的用户名（非系统用户）
awk -F: '$3>=500{print $1, $3}' /etc/passwd
结果：
cactiuser
test001
test002
14、显示默认登录脚本为bash的用户（模式匹配）
awk -F: '$7~"bash$"{print $1, $7}' /etc/passwd
结果：
root /bin/bash
mysql /bin/bash
cactiuser /bin/bash
test001 /bin/bash
test002 /bin/bash
15、awk执行前/执行后运行一次，BEGIN/END
例如，加入title
awk 'BEGIN{print "ROW1 ROW2 ROW3"}{printf "%-8s%-8s%-8s\n", $1, $2, $3}' test.txt
结果：
ROW1 ROW2 ROW3
this is a
this is the
在加入结尾信息
awk 'BEGIN{print "ROW1 ROW2 ROW3"}{printf "%-8s%-8s%-8s\n", $1, $2, $3}END{print "date:--/--/--"}' test.txt
结果：
ROW1 ROW2 ROW3
this is a
this is the
date:--/--/--
16、控制语句（if-else）
例如，判断是root就返回Admin，其他用户就返回Common User
awk -F: '{if ($1=="root") print $1, ": admin"; else print $1, ": Common User"}' /etc/passwd
结果：
root : admin
bin : Common User
daemon : Common User
adm : Common User
lp : Common User
再如，统计一共有多少个uid大于500的用户（非系统用户）
awk -F: -v sum= '{if ($3>=500) sum++}END{print sum}' /etc/passwd
结果为非系统用户个数
17、while循环列
比如，test.txt文件中，打印出所有大于4个字符的列
awk '{i=1; while (i<=NF) { if (length($i)>=4) {print $i}; i++}}' test.txt
awk '{for(i=1;i<NF;i++){ if (length($i)>=4) {print $i} }}' test.txt
结果
this
test
this
second
line.
18、next结束本行处理，进入下一行处理
19、数组
awk数组下标从1开始，并可以是任意字符串。
例如，统计不同登录shell对应的用户数量
awk -F: '{shell[$NF]++}END{for(A in shell) {print A, shell[A]}}' /etc/passwd
结果：
/sbin/shutdown
/bin/bash
/sbin/nologin
/sbin/halt
/bin/sync
再如，统计TCP网络连接中，状态是LISTEN和ESTABLISHED的条目数量
netstat -tan | awk '/^tcp/{STATE[$NF]++}END{for(A in STATE) {print A, STATE[A]}}'
结果：
ESTABLISHED
LISTEN
再如，统计ngiinx日志中ip地址访问次数，并按由多到少排序
awk '{count[$1]++}; END{ for(ip in count) print ip,": " count[ip]}' /usr/local/nginx/logs/access.log | sort -n -k3 -r
结果类似：
185.130.5.224 :
103.41.53.252 :
120.26.55.211 :
120.26.207.203 :
23.251.63.45 :
45.79.204.72 :
169.229.3.91 :
120.26.227.63 :
121.42.0.35 :
58.96.181.111 :
189.141.160.11 :
123.56.233.103 :