三剑客之三 Awk小记

AWK    编程语言

作用:

1)查询文本内的信息

2)判断 循环 数组等

3)统计数据 计算

awk ‘找谁{动作}‘ file                 #文件的标准输入
cat file|awk ‘找谁{动作}‘            #其他命令的标准输出
 

awk中的变量:

#在awk中所有的字符串和空格都是一个变量
#在awk中输出字符串和空格都需要加上"" 双引号
 
NR 行号
-F                    分隔符 默认以空格和tab键作为分隔符
$0                    把每行的内容赋值给0
$1                     每行的第一列
$n                    每行的第n列
,                       默认为空格
NF                    存储了每一行的最后一列 最后列的列号
 
 
1.NR 取行
 
1) awk取行 NR 行号
表示方法: awk ‘NR==3‘ file
== 等于
> 大于
< 小于
>= 大于等于
<= 小于等于
!= 不等于
&& 并且
|| 或者
 
2)取出文件中的第三行 使用  NR==3
[root@oldboy~]#awk ‘NR==3‘ test.txt
Meng Feixue 80042789 :250:60:50
 
3) 取出文件中大于3行的内容 使用NR>3
[root@oldboy~]#awk ‘NR>3‘ test.txt
Wu Waiwai 70271111 :250:80:75
Liu Bingbing 41117483 :250:100:175
Wang Xiaoai 3515064655 :50:95:135
Zi Gege 1986787350 :250:168:200
Li Youjiu 918391635 :175:75:300
Lao Nanhai 918391635 :250:100:175
 
4) 取出文件中小于第三行的内容 NR<3
[root@oldboy~]#awk ‘NR<3‘ test.txt
Zhang Dandan 41117397 :250:100:175
Zhang Xiaoyu 390320151 :155:90:201
 
5) 取出不等于1的行 NR!=1
[root@oldboy~]#awk ‘NR!=1‘ test.txt
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
 
 
6)大于1并且小于5 NR>1 && NR<5
[root@oldboy~]#awk ‘NR>1 && NR<5‘ test.txt
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
 
7) 等于3 或者等于5 NR==3 || NR==5
[root@oldboy~]#awk ‘NR==3||NR==5‘ test.txt
Meng Feixue 80042789 :250:60:50
Liu Bingbing 41117483 :250:100:175
 
 
2.awk取列                                         #默认以空格和tab键作为分隔符
$0                代表了所有的行
$1                 代表了第一列
$2                代表了第二列
$n                代表了第n列
 
#给取出的内容加上行号
[root@web01 ~]# awk ‘{print NR $0}‘ passwd
1root:x:0:0:root:/root:/bin/bash
2bin:x:1:1:bin:/bin:/sbin/nologin
3daemon:x:2:2:daemon:/sbin:/sbin/nologin
4adm:x:3:4:adm:/var/adm:/sbin/nologin
5lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6sync:x:5:0:sync:/sbin:/bin/sync
7shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8halt:x:7:0:halt:/sbin:/sbin/halt
9mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10operator:x:11:0:operator:/root:/sbin/nologin
 
 
1)打印文本的第一列 awk ‘{print $n}‘ test.txt
[root@oldboy~]#awk ‘{print $1}‘ test.txt
Zhang
Zhang
Meng
Wu
 
 
2)同时取出第一列和第三列的内容 逗号, 变量 里面默认的是空格
[root@oldboy~]#awk ‘{print $1,$3}‘ test.txt
Zhang 41117397
Zhang 390320151
Meng 80042789
 
 
 3)注意事项 awk中所有的普通字符串默认多视为变量 取消变量使用 "" (双引号)
[root@oldboy~]#awk ‘{print $1"aaaa"$3}‘ test.txt
Zhangaaaa41117397
Zhangaaaa390320151
Mengaaaa80042789
 
 
[root@oldboy~]#awk ‘{print $1" aaaa "$3}‘ test.txt
Zhang aaaa 41117397
Zhang aaaa 390320151
Meng aaaa 80042789
 
 
[root@oldboy~]#awk ‘{print $1"\t"$3}‘ test.txt
Zhang 41117397
Zhang 390320151
Meng 80042789
 
 
 
4)先输出文本的第3列 然后在输出第一列 以空格分隔
[root@oldboy~]#awk ‘{print $3,$1}‘ test.txt
41117397 Zhang
390320151 Zhang
80042789 Meng
70271111 Wu
41117483 Liu
 
[root@web01 ~]# awk -F: ‘{print$7,":"$2,":"$3,":"$4,":"$5,":"$6,":"$1}‘ passwd
/bin/bash :x :0 :0 :root :/root :root
/sbin/nologin :x :1 :1 :bin :/bin :bin
/sbin/nologin :x :2 :2 :daemon :/sbin :daemon
/sbin/nologin :x :3 :4 :adm :/var/adm :adm
/sbin/nologin :x :4 :7 :lp :/var/spool/lpd :lp
 
 
 5) 输出最后一列
[root@oldboy~]#cat 3.txt
a b c d e
a b c d e f
 
[root@oldboy~]#awk ‘{print NF}‘ 3.txt
5
6
 
[root@oldboy~]#awk ‘{print $NF}‘ 3.txt
e
f
 
 
[root@web01 ~]# awk -F: ‘{print$(NF-1)}‘ passwd #取出倒数第二列
/root
/bin
/sbin
/var/adm
/var/spool/lpd
/sbin
 
 
 
6) 取出第三行的第二列
awk ‘模式 {动作}‘
[root@oldboy~]#awk ‘NR==3‘ test.txt
Meng Feixue 80042789 :250:60:50
 
 
[root@oldboy~]#awk ‘NR==3{print $2}‘ test.txt
Feixue
 
 
 
7) 模糊匹配 awk不区分大小写
[root@oldboy~]#awk ‘/Bingbing/‘ test.txt
Liu Bingbing 41117483 :250:100:175
[root@oldboy~]#
 
[root@oldboy~]#awk ‘/Bingbing/{print}‘ test.txt
Liu Bingbing 41117483 :250:100:175
 
 
8) 匹配区间
 
[root@oldboy~]#awk ‘/Bingbing/,/Gege/‘ test.txt #词组之间用逗号隔开
Liu Bingbing 41117483 :250:100:175
Wang Xiaoai 3515064655 :50:95:135
Zi Gege 1986787350 :250:168:200
 
 
PS: , 的区别
sed ‘//,//‘ # 模式 匹配过滤内容
awk ‘//,//‘ # 模式 匹配顾虑内容
awk ‘//,//{print $1,$2}‘ # 逗号在匹配过滤中是区间 在动作中是空格
 
 
9) 使用-F 分隔来取列
PS:如果使用-F定义分隔符 则默认的空格和tab键失效
[root@oldboy~]#cat 1.txt
root:x:0:0:root:/root:/bin/bash
root alex lida root
 
[root@oldboy~]#awk ‘{print $1}‘ 1.txt #默认空格喂分隔符
root:x:0:0:root:/root:/bin/bash
root
 
写法1
[root@oldboy~]#cat 1.txt
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
[root@oldboy~]#awk -F ":" ‘{print $1}‘ 1.txt
root
bin
 
写法2
[root@oldboy~]#awk -F: ‘{print $1}‘ 1.txt
root
bin
 
例子: 使用/作为分隔符
[root@oldboy~]#cat 1.txt
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
 
[root@oldboy~]#awk -F/ ‘{print $2}‘ 1.txt
root:
bin:
 
 
[root@oldboy~]#awk -F/ ‘{print $3}‘ 1.txt
bin
sbin
 
例子: 使用字符串或者单词的方式分隔
[root@oldboy~]#cat 2.txt
alexheheoldboy
lidaohehetest
 
[root@oldboy~]#awk -Fhehe ‘{print $1}‘ 2.txt
alex
lidao
 
例子:多次分隔
 
[root@oldboy~]#awk -F/ ‘{print $1}‘ 1.txt
root:x:0:0:root:
bin:x:1:1:bin:
[root@oldboy~]#awk -F/ ‘{print $1}‘ 1.txt|awk -F: ‘{print $3}‘
1
 
 
注意:-F 覆盖默认的空格和tab键
[root@oldboy~]#cat 2.txt
al exheheold boy
lid aohehe test
 
[root@oldboy~]#awk ‘{print $1}‘ 2.txt
al
lid
 
[root@oldboy~]#awk -Fhehe ‘{print $1}‘ 2.txt
al ex
lid ao
 
10. 使用多个符号作为分隔符
[root@oldboy~]#cat 1.txt
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
 
[root@oldboy~]#awk -F/ ‘{print $2}‘ 1.txt
root:
bin:
[root@oldboy~]#awk -F: ‘{print $6}‘ 1.txt
/root
/bin
 
[root@oldboy~]#cat 1.txt
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
 
[root@oldboy~]#awk -F "[:/]" ‘{print $7}‘ 1.txt
root
bin
 
11. 把连续出现的: 作为分隔符
[root@oldboy~]#awk -F "[:]+" ‘{print $1}‘ 1.txt
root
bin
[root@oldboy~]#awk -F "[:]+" ‘{print $2}‘ 1.txt
x
x
 
[root@oldboy~]#cat 1.txt
root::x:0:0:root:/root:/bin/bash
bin::x:1:1:bin:/bin:/sbin/nologin
 
 
[root@oldboy~]#awk -F "::::" ‘{print $2}‘ 4.txt
hehe
 
[root@oldboy~]#awk -F "[:]+" ‘{print $2}‘ 4.txt
hehe
 
 
例子: 可以同时指定多个不同的字符作为分隔符
[root@oldboy~]#cat 1.txt
root::x:0:0:root:/root:/bin/bash
bin::x:1:1:bin:/bin:/sbin/nologin
 
[root@oldboy~]#awk -F "[:/]+" ‘{print $5}‘ 1.txt
root
bin
 
 
NR 记录的是行号
[root@oldboy~]##awk ‘{print NR}‘ 1.txt
[root@oldboy~]#cat 1.txt
root::x:0:0:root:/root:/bin/bash
bin::x:1:1:bin:/bin:/sbin/nologin
[root@oldboy~]#awk ‘{print NR}‘ 1.txt
1
2
[root@oldboy~]#
[root@oldboy~]#awk ‘{print NR$0}‘ 1.txt
1root::x:0:0:root:/root:/bin/bash
2bin::x:1:1:bin:/bin:/sbin/nologin
[root@oldboy~]#
[root@oldboy~]#awk ‘{print NR,$0}‘ 1.txt
1 root::x:0:0:root:/root:/bin/bash
2 bin::x:1:1:bin:/bin:/sbin/nologin
 
 
根据文件的行数进行执行动作
[root@oldboy~]#cat 1.txt
root::x:0:0:root:/root:/bin/bash
bin::x:1:1:bin:/bin:/sbin/nologin
[root@oldboy~]#awk ‘{print ok}‘ 1.txt
 
 
[root@oldboy~]#
[root@oldboy~]#awk ‘{print "ok"}‘ 1.txt
ok
ok
 
12.BEGIN 在读取文件之前的动作
格式: awk ‘BEGIN{动作}{对文件做什么动作}‘ file
[root@oldboy~]#awk ‘{print "ok"}‘ 1.txt
ok
ok
[root@oldboy~]#awk ‘BEGIN{print "开始了"}‘
开始了
[root@oldboy~]#
[root@oldboy~]#awk ‘{print "ok"}‘
^C
[root@oldboy~]#awk ‘BEGIN{print "开始了"}‘
开始了
[root@oldboy~]#awk ‘BEGIN{print "开始了"}{print "ok"}‘ 1.txt
开始了
ok
ok
 
 
13.END 在读取文件之后的动作 常用 awk统计、数组
格式: awk ‘{文件的动作}END{结束后的动作}‘ file
 
[root@oldboy~]#awk ‘{print "ok"}‘ 1.txt
ok
ok
[root@oldboy~]#
[root@oldboy~]#awk ‘{print "ok"}END{print "结束了"}‘ 1.txt
ok
ok
结束了
 
BEGIN和END结合
[root@oldboy~]#awk -F: ‘BEGIN{print "开始"}{print $1}END{print "结束"}‘ 1.txt
开始
root
bin
结束
 
14.使用正则匹配字符串
过滤以root开头的行
[root@oldboy~]#cat 1.txt
root::x:0:0:root:/root:/bin/bash
bin::x:1:1:bin:/bin:/sbin/nologin
[root@oldboy~]#awk ‘/^root/‘ 1.txt
root::x:0:0:root:/root:/bin/bash
 
过滤以bash结尾的行
[root@oldboy~]#awk ‘/bash$/‘ 1.txt
root::x:0:0:root:/root:/bin/bash
[root@oldboy~]#awk ‘/nologin$/‘ 1.txt
bin::x:1:1:bin:/bin:/sbin/nologin
 
按照列来使用正则匹配内容
 
[root@oldboy~]#cat 1.txt
root::x:0:0:root:/root:/bin/bash
bin::x:1:1:bin:/bin:/sbin/nologin
[root@oldboy~]#awk -F: ‘{print $NF}‘ 1.txt
/bin/bash
/sbin/nologin
[root@oldboy~]#awk -F: ‘$NF ~ /in$/‘ 1.txt
bin::x:1:1:bin:/bin:/sbin/nologin
[root@oldboy~]#
[root@oldboy~]#
[root@oldboy~]#awk -F: ‘$NF ~ /in$/{print $1}‘ 1.txt
bin
 
 
[root@oldboy~]#awk -F: ‘$1 ~ /root/‘ 1.txt
root::x:0:0:root:/root:/bin/bash
[root@oldboy~]#
[root@oldboy~]#awk -F: ‘$1 ~ /^root/‘ 1.txt
root::x:0:0:root:/root:/bin/bash
[root@oldboy~]#
[root@oldboy~]#awk -F: ‘$0 ~ /^root/‘ 1.txt
root::x:0:0:root:/root:/bin/bash
 
[root@oldboy~]#cat 1.txt
root::x:0:0:root:/root:/bin/bash
bin::x:1:1:bin:/bin:/sbin/nologin
[root@oldboy~]##root ~ ^root # 按照第一列进行匹配
[root@oldboy~]#
[root@oldboy~]##root::x:0:0:root:/root:/bin/bash ~ ^root # 按整行进行匹配
 
 
awk匹配规则取反 了解
[root@oldboy~]#cat 1.txt
root::x:0:0:root:/root:/bin/bash
bin::x:1:1:bin:/bin:/sbin/nologin
[root@oldboy~]#awk -F: ‘$NF ~ /in$/‘ 1.txt
bin::x:1:1:bin:/bin:/sbin/nologin
[root@oldboy~]#awk -F: ‘$NF !~ /in$/‘ 1.txt
root::x:0:0:root:/root:/bin/bashr‘f
 
 
 
 
1. 排除空行  存在空格和tab键的空行  
 
[root@qls ~]# cat sshd_config
# $OpenBSD: sshd_config,v 1.100 2016/08/15 12:32:04 naddy Exp $
 
# This is the sshd server system-wide configuration file.  See
# sshd_config(5) for more information.
 
# This sshd was compiled with PATH=/usr/local/bin:/usr/bin
 
# The strategy used for options in the default sshd_config shipped with
# OpenSSH is to specify options with their default value where
# possible, but leave them commented.  Uncommented options override the
# default value.
 
# If you want to change the port on a SELinux system, you have to tell
# SELinux about this change.
# semanage port -a -t ssh_port_t -p tcp #PORTNUMBER
#
Port 22
#AddressFamily any
ListenAddress 0.0.0.0
#ListenAddress ::
 
 
[root@qls ~]# grep  -v  ‘^$‘  sshd_config 
 
[root@qls ~]# sed  ‘/^$/d‘  sshd_config 
 
[root@qls ~]# awk  ‘!/^$/‘   sshd_config 
 
 
# -P   支持tab键 
 
[root@qls ~]#  grep  -Pv  ‘^[ \t]*$‘  sshd_config
 
 
[root@qls ~]# sed ‘/^[ \t]*$/d‘  sshd_config 
 
[root@qls ~]# awk  ‘!/^[ \t]*$/‘  sshd_config 
 
# \s   空白字符 
 
[root@qls ~]# grep  -v  ‘^\s*$‘  sshd_config 
 
[root@qls ~]# sed  ‘/^\s*$/d‘  sshd_config
 
[root@qls ~]# awk  ‘!/^\s*$/‘  sshd_config
 
2. 排除空行和注释行  #号开头的
 
 
[root@qls ~]# grep  -Ev  ‘^$|^#‘  sshd_config
 
[root@qls ~]# grep  -Ev  ‘^\s*$|^#‘  sshd_config 
Port 22
ListenAddress 0.0.0.0
 
 
[root@qls ~]# sed  -r ‘/^\s*$|^#/d‘  sshd_config 
Port 22
ListenAddress 0.0.0.0
[root@qls ~]# sed  -r ‘/^[ \t]*$|^#/d‘  sshd_config 
Port 22
ListenAddress 0.0.0.0
 
[root@qls ~]# awk  ‘!/^[ \t]*$|^#/‘  sshd_config 
Port 22
ListenAddress 0.0.0.0
 
[root@qls ~]# awk  ‘!/^\s*$|^#/‘  sshd_config 
Port 22
ListenAddress 0.0.0.0
 
 
 
3. 将/etc/passwd文件中的第一列和第七列位置进行调换   awk   等值替换
 
 
[root@qls ~]# awk  -F ‘[:]‘  ‘{a=$1;$1=$NF;$NF=a;print}‘  passwd  | tr  ‘ ‘ ‘:‘
/bin/bash:x:0:0:root:/root:root
/sbin/nologin:x:1:1:bin:/bin:bin
/sbin/nologin:x:2:2:daemon:/sbin:daemon
/sbin/nologin:x:3:4:adm:/var/adm:adm
/sbin/nologin:x:4:7:lp:/var/spool/lpd:lp
 
 
[root@qls ~]# awk  -F ‘[:]‘ -vOFS=":" ‘{a=$1;$1=$NF;$NF=a;print}‘  passwd  
/bin/bash:x:0:0:root:/root:root
/sbin/nologin:x:1:1:bin:/bin:bin
/sbin/nologin:x:2:2:daemon:/sbin:daemon
/sbin/nologin:x:3:4:adm:/var/adm:adm
/sbin/nologin:x:4:7:lp:/var/spool/lpd:lp
 
 

三剑客之三 Awk小记

上一篇:安装 Visual Studio 时提示:无法安装 Microsoft.VisualCpp.Redist.14.Latest


下一篇:Attension Is All You Need