grep命令
grep（global search regular expression）是一种强大的文本搜索工具，它可以使用正则表达式搜索文本，并把匹配的行打印出来。平时搜索文本中内容的时候是非常方便的。
格式：
grep [option] pattern filename
主要选项：
- -A<显示列数> 除了显示符合范本样式的那一行之外，并显示该行之后的内容。
- -o 只输出文件中匹配到的部分。
- -v 反转查找。
- -i 忽略字符大小写的差别。
- -E 使用扩展正则表达式。
- -c 计算匹配到的列数。
- -n 列出匹配到的行号。
- -s 不显示错误信息。
案例：
在passwd文件中找到包含root的行
[root@localhost rabbitmq-c]# grep root /etc/passwd
root:x:::root:/root:/bin/bash
operator:x:::operator:/root:/sbin/nologin
列出行号
[root@localhost rabbitmq-c]# grep -n root /etc/passwd
:root:x:::root:/root:/bin/bash
:operator:x:::operator:/root:/sbin/nologin
多个文件中搜索
[root@localhost rabbitmq-c]# grep -n root /etc/passwd /etc/shadow
/etc/passwd::root:x:::root:/root:/bin/bash
/etc/passwd::operator:x:::operator:/root:/sbin/nologin
/etc/shadow::root:$$xlxl/3ch$XPvzGYnvC.jk5y7NvQcbNO/8RZ6pLCFvFi79ceS7fXbffKEHG1tfRw
s参数忽略错误提示
[root@localhost rabbitmq-c]# grep -ns root /etc/*
/etc/aliases:12:postmaster: root
/etc/aliases:15:bin: root
/etc/aliases:16:daemon: root
/etc/aliases:17:adm: root
统计匹配倒的行数
[root@localhost rabbitmq-c]# grep -nsc root /etc/passwd
大C参数匹配结果的前2行和后2行
[root@localhost rabbitmq-c]# grep -nsC root /etc/passwd
:root:x:::root:/root:/bin/bash
-bin:x:::bin:/bin:/sbin/nologin
-daemon:x:::daemon:/sbin:/sbin/nologin
--
-halt:x:::halt:/sbin:/sbin/halt
-mail:x:::mail:/var/spool/mail:/sbin/nologin
:operator:x:::operator:/root:/sbin/nologin
-games:x:::games:/usr/games:/sbin/nologin
-ftp:x:::FTP User:/var/ftp:/sbin/nologin
满足多个关键字
[root@localhost ~]# ls /usr/local/mysql/data/oa_2018/ | grep -E "yunwei_log|workflow_order"
workflow_order.ibd
yunwei_log.ibd
sed命令
linux中的sed是一种流处理编辑器，它是文本处理中非常中的工具。它可以对文本进行增加，删除，替换的处理。
处理时需要一个文本或者管道输入，然后读取当前处理的行存储在模式空间（pattern space）也就是一个临时缓冲区中，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件本身的内容并没有改变，除非将结果重定向存储输出。
sed操作过程：
sed有个文本选定的过程，就是用正则选定文本，选定了可以处理的行之后，才会正真的调用sed命令去操作。
sed命令格式：分两种
命令行格式：
sed [options] 'command' file(s)
脚本格式：
sed [options] -f scriptfile file(s)
选项[options]：
-n或--quiet或——silent：仅显示script处理后的结果；
-e<script>或--expression=<script>：以选项中的指定的script来处理输入的文本文件；
命令(command)： 行定位（正则）+ sed命令。
p 打印模板块的行。
P (大写) 打印模板块的第一行。
sed用法实例
示例1. p参数打印文件
[root@localhost ~]# sed 'p' /etc/passwd
root:x:::root:/root:/bin/bash
root:x:::root:/root:/bin/bash
bin:x:::bin:/bin:/sbin/nologin
bin:x:::bin:/bin:/sbin/nologin
......
每一行都打印了两遍，因为sed命令原理是读入一行打印一行，这里加上p参数又打印了一行。
加上n参数就会打印相关的行，所以就不会显示重复的行。
[root@localhost ~]# sed -n 'p' /etc/passwd
root:x:::root:/root:/bin/bash
bin:x:::bin:/bin:/sbin/nologin
daemon:x:::daemon:/sbin:/sbin/nologin
adm:x:::adm:/var/adm:/sbin/nologin
.......
一般-p参数都会和n一起使用。
sed行定位（选择要处理的行，可以通过正则匹配）
定位一行： x；（x代表行号） /pattern/ （正则）
[root@localhost oa]# sed -n '5p' passwd
lp:x:::lp:/var/spool/lpd:/sbin/nologin [root@localhost oa]# nl passwd | sed -n '5p' 也可以用nl命令打印出行号
lp:x:::lp:/var/spool/lpd:/sbin/nologin
通过正则打印包含关键字的行，下面就是打印包含mysql的行。
[root@localhost oa]# sed -n '/mysql/p' passwd
mysql:x::::/home/mysql:/bin/bash
定位几行：x,y； （x y都是行号，表示一个区间，x行到y行） /pattern/,x； （正则表示法，x和y都可以用正则表示）
打印5行到15行。
[root@localhost oa]# nl passwd | sed -n '5,15p'
lp:x:::lp:/var/spool/lpd:/sbin/nologin
sync:x:::sync:/sbin:/bin/sync
shutdown:x:::shutdown:/sbin:/sbin/shutdown
halt:x:::halt:/sbin:/sbin/halt
mail:x:::mail:/var/spool/mail:/sbin/nologin
operator:x:::operator:/root:/sbin/nologin
games:x:::games:/usr/games:/sbin/nologin
ftp:x:::FTP User:/var/ftp:/sbin/nologin
nobody:x:::Nobody:/:/sbin/nologin
avahi-autoipd:x:::Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin
dbus:x:::System message bus:/:/sbin/nologin
用正则来取范围
[root@localhost oa]# nl passwd | sed -n '/lp/,/dbus/p'
lp:x:::lp:/var/spool/lpd:/sbin/nologin
sync:x:::sync:/sbin:/bin/sync
shutdown:x:::shutdown:/sbin:/sbin/shutdown
halt:x:::halt:/sbin:/sbin/halt
mail:x:::mail:/var/spool/mail:/sbin/nologin
operator:x:::operator:/root:/sbin/nologin
games:x:::games:/usr/games:/sbin/nologin
ftp:x:::FTP User:/var/ftp:/sbin/nologin
nobody:x:::Nobody:/:/sbin/nologin
avahi-autoipd:x:::Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin
dbus:x:::System message bus:/:/sbin/nologin
取反操作，比如不显示5-15行
[root@localhost oa]# nl passwd | sed -n '5,15!p'
root:x:::root:/root:/bin/bash
bin:x:::bin:/bin:/sbin/nologin
daemon:x:::daemon:/sbin:/sbin/nologin
adm:x:::adm:/var/adm:/sbin/nologin 这里5到15行就没选择
polkitd:x:::User for polkitd:/:/sbin/nologin
abrt:x::::/etc/abrt:/sbin/nologin
unbound:x:::Unbound DNS resolver:/etc/unbound:/sbin/nologin
usbmuxd:x:::usbmuxd user:/:/sbin/nologin
.........
定位间隔几行：first ~ step （first代表起始行号，step代表间隔几行，步长是多少）。
[root@localhost oa]# nl passwd | sed -n '1~5p' 下面是从第一行开始每间隔5行输出一行
root:x:::root:/root:/bin/bash
sync:x:::sync:/sbin:/bin/sync
games:x:::games:/usr/games:/sbin/nologin
polkitd:x:::User for polkitd:/:/sbin/nologin
apache:x:::Apache:/usr/share/httpd:/sbin/nologin
rpc:x:::Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
rpcuser:x:::RPC Service User:/var/lib/nfs:/sbin/nologin
gnome-initial-setup:x::::/run/gnome-initial-setup/:/sbin/nologin
oprofile:x:::Special user account to be used by OProfile:/var/lib/oprofile:/sbin/nologin
mysql:x::::/home/mysql:/bin/bash
awk命令
awk是一个数据处理工具。可以编程，处理能力更为强大。
awk处理方式：awk一次处理一行内容，也是行处理方式，和sed命令不同，awk可以对每行切片处理，比如说可以对每行的第一个单词输出，如果用sed处理那么就要用到替换功能，比较麻烦。
awk格式：
命令行格式：
awk [options] 'command' file(s)
脚本格式：
awk -f awk-script-file file(s)
格式：
基本格式：
command：pattern { awk操作命令(这里可以编程，awk也有内置函数) } ； pattern ：正则表达式；逻辑判断式；
扩展格式：
awk内置参数：
$0：表示整个当前行。
$1：每行第一个字段。
$2：每行第二的字段。 其它的以此类推。
分隔符：options：-F field-separator （默认为空格）。 例如： awk -F ‘：’ '{print $3}' /etc/passwd 就会把每行用:分割，然后取出第三个被分割后的字段。
NR（行）：每行的记录号。
NF（列）：字段数量变量。
FILENAME：正在处理的文件名。
示例1：
打印第一列和第三列
[root@localhost python]# awk -F ':' '{print $1,$3}' /etc/passwd $1和$3直接的逗号,是用来显示出来的时候两列之间会有空格，起分割的作用，逗号也可以用双引号代替" "
root
bin
daemon
可以每列加上说明参数，制表的表示显示出来。
[root@localhost python]# awk -F ':' '{print "user:"$1"\t ""uid:"$3}' /etc/passwd
user:root uid:
user:bin uid:
user:daemon uid:
user:adm uid:
打印出每行行号和列数
[root@localhost python]# awk -F ':' '{print NR,NF}' /etc/passwd
7 前面数字表示当前的行号，后面代表当前行有多少列
也可以使用printf()函数 这个函数和php里printf()函数差不多，可以输出格式化的字符串。
[root@localhost ~]# awk -F ':' '{printf("Line:%s Col:%s\n",NR,NF)}' /etc/passwd
Line: Col:
Line: Col:
Line: Col:
Line: Col:
Line: Col:
Line: Col:
Line: Col:
Line: Col:
Line: Col:
awk条件判断：
awk内置可以条件判断语句，比如显示passwd文件中用户ID大于100的行号和用户。
[root@localhost ~]# awk -F ':' '{if ($3 > 100) print "Line :" NR,"USER:" $1 }' /etc/passwd
Line : USER:avahi-autoipd
Line : USER:polkitd
Line : USER:abrt
Line : USER:unbound
Line : USER:usbmuxd
Line : USER:colord
Line : USER:saslauth
Line : USER:libstoragemgmt
Line : USER:rtkit
awk逻辑判断式：
~ , ! ~ （波浪线取反） ：代表匹配正则表达式 ， 不匹配正则表达式
== ， ！= ， < ， > ： 判断逻辑表达式
示例：
匹配第一列以m开头的行
[root@localhost ~]# awk -F ':' '$1~/^m.*/{print $1}' /etc/passwd
mail
mysql
匹配第一列不是以m开头的行
[root@localhost ~]# awk -F ':' '$1!~/^m.*/{print $1}' /etc/passwd
root
bin
daemon
adm
用户ID大于200的行号和用户
[root@localhost ~]# awk -F ':' '$3>200{print $1 $3}' /etc/passwd
polkitd999
unbound998
colord997
saslauth996
libstoragemgmt995
awk扩展格式BEGIN和END：
BEGIN {print "start" } pattern { commands } END { print "end" }
上面命令行的意思是在awk读取行之前先执行BEGAIN 模块中的内容，然后在执行commands （这里可以循环操作）内容，最后在执行END 模块中内容。
下面看几个案例就容易懂了。
案例：
制表显示/etc/passwd文件每行的行号，每行的列数，对应行的用户名。
[root@localhost ~]# awk -F ':' 'BEGIN{print "Line Col User "}{print NR,NF,$1}END{print "-----over-----"}' /etc/passwd
Line Col User
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
-----over-----
awk逻辑处理：
案例：
求出目录中所有文件大小总和并打印出来
[root@localhost rabbitmq-c]# ll | awk 'BEHIN{size=0}{size+=$5}END{print "size is " size/1024/1024"M"}' 在begin时候初始化size变量为0
size is 1.61688M
统计/etc/passwd账号总人数
[root@localhost rabbitmq-c]# awk -F ':' 'BEGIN{count=0}$1!~/^$/{count++}END{print "count = "count}' /etc/passwd 求文件行数但是不包括空行
count =
统计用户id大于100的用户
[root@localhost rabbitmq-c]# awk -F ':' 'BEGIN{num=0}{if ($3 > 100) name[num++]=$1}END{for (i=0;i<num;i++) print i,name[i]}' /etc/passwd 这里用到了数组 for循环
avahi-autoipd
polkitd
abrt
unbound
usbmuxd
colord
saslauth
统计网络中conneted和listen状态的数量
[root@localhost rabbitmq-c]# netstat -anp | awk '$6~/CONNECTED|LISTEN/{sum[$6]++}END{for (i in sum)print i,sum[i]}'
LISTEN
CONNECTED