常用的文本编辑工具有vim、vi、nano，同时文本处理工具还有文本处理三剑客：grep系、sed、awk，具体介绍如下。

1、grep系

grep系是文本搜索工具，可以分为grep、egrep、fgrep，是基于“PATTERN”对于给定的文本进行模糊搜索，同时grep系默认工作于贪婪模式下。

（1）grep：Global search Regular expression and Print out the line（利用正则表达式进行全局搜索，并将匹配的行显示出来）

  grep的格式一为：grep [OPTION] PATTERN [FILE……]

  格式中的PATTERN，是过滤条件，是正则表达式元字符以及没有特殊含义的文本字符组成。正则表达式的元字符，其会被正则表达式引擎解释为特殊含义；最完整的的正则表达式引擎为pcre（perl common regular expression）,即perl语言的正则表达式引擎。 对于正则表达式引擎来说，字是由非特殊字符组成的连续字符串。

  正则表达式的元字符分为两类：基本的正则表达式BRE、扩展得到正则表达式ERE。grep默认仅支持基本的正则表达式，egrep默认支持扩展正则表达式，fgrep默认不开启正则表达式引擎。其中的文本字符，是只具备字符表面的那些字母。   

  grep命令的常用选项为:-i，--ignore-case：忽略文本字符的大小写

                       -v，--invert-match：反向匹配，最终显示的结果是PATTERN不能成功匹配的行

                       -c，--count：计数，统计匹配PATTERN的所有行数

                       -o，--only-matching：关闭贪婪模式，仅显示PATTERN能够匹配的内容

                       -q，--quiet，--silent：安静模式，不输出任何匹配结果（判断有无这样的信息，只关注有无和模式匹配的内容）

                       --color[=WHEN]，--colour[=WHEN]：将匹配PATTERN的内容进行高亮显示，常用--color=auto

                       -E，--extended-regexp：扩展的正则表达式，grep -E相当于egrep

                       -F，--fixed-strings，--fixed-regexp:grep -F相当于fgrep

                       -G，--basic-regexp：基本正则表达式，egrep -G相当于grep

                       -P，--perl-regexp：使用PCRE引擎

                       -A NUM，--after-context=NUM:在显示匹配PATTERN的行的同时显示其后面的NUM行

                       -B NUM，--before-context=NUM:在显示匹配PATTERN的行的同时显示其前面的NUM行

                       -C NUM，-NUM，--context=NUM:在显示匹配PATTERN的行的同时显示其前后的NUM行

 例如：# grep "^root\>"  /etc/passwd : 在/etc/passwd中查找并显示用户名为“root”用户的信息

       # grep -n "little" /etc/group :查找并显示在/etc/group中"little"所在的行和行号

       # grep -v "^root\>"  /etc/passwd : 在/etc/passwd中查找并显示除了“root”之外的所有用户的信息  （结果中的一部分）

       # grep -o "little" /etc/group :在/etc/group中查找"little"

       # grep -i 'o' /var/log/boot.log :在/var/log/boot.log查找字母"o"和"O"所在的行

       # grep -E "t{2,}"  /etc/rc.d/init.d/network :在/etc/rc.d/init.d/network中查找并显示"t"至少出现2次所匹配的行

       # grep -A 2 "/dev/shm"  /etc/fstab :在/etc/fstab中查找并显示"/dev/shm "所匹配的行以及下2行

       # grep -B 1 "order " etc/host.conf :在/etc/host.conf 中查找并显示"order "所匹配的行以及上1行

       # grep -C 1 "MemFree" /proc/meminfo :在/proc/meminfo查找"MemFree"所在的行以及上一行和下一行

 PATTERN是正则表达式元字符。基本的正则表达式元字符为GLOBBING，简化版的正则表达式有[]、?、*

 grep字符匹配如下：

    .：匹配任意单个个字符

    []：匹配任意范围内的单个字符

    [^]：匹配指定范围以外的任意单个字符

    [:lower:]：所有的小写字母

    [:upper:]：所有的大写字母

    [:alpha:]：表示所有的字母字符

    [:digit:]：表示所有的十进制数字

    [:space:]：表示空白字符

    [:alnum:]：表示所有的大小写字母以及十进制数字

    [:punct:]：所有的标点符号

    [:xdigt:] :显示所有打的十六进制数字

    a~z：所有的小写字母

    A~Z：所有的大写字母

    0~9：表示所有的十进制数字

 例如：# echo "Aa12@" | grep "[[:alpha:]]"  :显示"Aa12@"中的字母不区分大小写

       # echo " A a12@" | grep "[[:space:]]" :显示"A a12@"中的空白字符

       # ls -l | grep "r..r" :显示r开头和结尾的内容，其中 . 表示任意单个字符

       # echo "hello little525" | grep "[0-9]"

       # echo "hello little525" | grep "[^0-9]"

       # grep -c "^[[:space:]]*&" little

 下列所有的字符集都可以放置于[]之中用于匹配单个字符；次数匹配，解释为该类字符之前的那个字符可以出现的次数，具体字符如下：

    *：其前面的字符可以出现任意次（0次、1次或多次）

    \？:其前面的字符可以有可以无（0次或1次）

    \+： 其前面的字符至少出现1次

    \{m\}：其前面的字符必须出现m次

    \{m,n\}：其前面的字符至少出现m次，至多出现n次（m<n）

    \{,n\}：其前面的字符至少出现0次，至多出现n次

    \{m,\}：其前面的字符至少出现m次，至多不限

    .* ：在正则表达式中，表示任意长度，任意字符的方式

 例如：# echo "root" | grep "o*"  :匹配其前的o任意次  

       # echo "root" | grep "o\?" :匹配o2次， \?:匹配其前的字符0次或1次

       # echo "rooot" | grep "o\?" :匹配o3次

       # echo "root" | grep ".*" :匹配其前的任意字符任意次

       # echo "root" | grep "o\{2\}*"  :"o"出现2次

       # echo "rooot" | grep "o\{3,\}*"  :"o"至少出现3次

 grep位置锚定字符如下，其中，\b表示旧版本中的锚定方法：

    行锚定：行首锚定^ ；行尾锚定$

    字锚定：字首锚定 \<或\b ；字尾锚定 \>或\b

 例如：'^\<root\>' 和^\[[:digit:]]\{2\}\>'

       # cat /etc/passwd | grep "^z.*"  :查找并显示以"z"开头的用户的所有信息

       # cat /etc/rc.d/rc.sysinit | grep -n "^$" :显示以"n"为行尾的所有用户组的信息

       # grep -n "\<little\>" /etc/passwd :显示用户名为little的所有信息

       # grep -n "bash\>$" /etc/passwd :显示shell为/bin/bash的所有用户

       # ifconfig | grep -E -o "\<([1-9]|[1-9][0-9]|(1[0-9]{2}|2[0-1][0-9]|22[0-3]))\.([0-9][1-9]{2}|(1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){2}.([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-4]))\>"

 分组与引用字符为\(PATTERN\)；将此PATTERN所匹配到的所有字符当做一个不可分割的整体来处理，在正则表达式引擎中，有一系列的内置变量，这些变量会保存所有分组内的字符信息，用于后项引用，这些变量依次是\2、\3、\4…… 例如至少要匹配一次xy表达为\(xy\)\+

  多分组的例子pattern1\(pattern2\)pattern3\(pattern4\(pattern5\)\)中，其中，第一个小括号  \1：表示pattern2；\2：表示pattern4；\3：表示pattern5。例子中\1：表示第一组小括号中的PATTERN匹配到的字符；\2：表示第二组小括号中的PATTERN匹配到的字符……

  grep引用字符的例子：请找出在/etc/passwd中用户的UID和GID相同的用户账户：# grep '\(\<[[:digit:]]\+\>\).*\1' /etc/passwd

 grep的或字符为：\|

  注意：\| 将其左右两边的字符串当做整体来对待。例如：A\|american，即A或american

  grep或字符的例子：请找出ifconfig命令的执行结果中数值在100~255之间的整数：第一位可以为1和2；第二位中，如果第一位为1，则第二位可以为0~9;若第一位为2，第二位有0~4和0~5两种情况；若第一位为1，第二位为0~9，则第三位可以为0~9；若第一位为2，第二位为0~4，则第三位可以为0~9；若第一位为2，第二位为5，则第三位可以为0~5。

   # ifconfig | grep '\<\(1[0~9][0~9]\|2[0~4][0~9]\|25[0~5]\)\>'

  

 grep的格式二为：grep [OPTION] [-e PATTERN | -f FILE] [FILE……]

   在默认情况下，grep后面只允许有一个PATTERN，如果想在一次grep中写多个PATTERN，则需要用-e选项，每一个-e选项只能使用一个PATTERN作为参数。要将所需要的PATTERN写入一个文件中，保证每行只有一个PATTERN，我们就可以使用-f FILE方式来实现多PATTERN的匹配。

 例如：（1）、# ls -l | grep '^a'：通过管道过滤ls -l输出的内容，只显示以a开头的行

       （2）、# grep 'test' d*：显示所有以d开头的文件中包含test的行

       （3）、# grep 'test' aa bb cc：显示在aa，bb，cc文件中匹配test的行

       （4）、# grep '[a-z]\{5\}' aa：显示所有包含每个字符串有5个连续小写字符的字符串的行

       （5）、# grep "a|b" ：匹配包含字符样式为"a|b"的行

  

 （2）egrep

 egrep的格式为：egrep [OPTION] PATTERN [FILE……]

 egrep扩展的正则表达式字符如下，和grep相比egrep少了很多\，书写起来比较方便：

 字符匹配：. [] [^]

 次数匹配：* ？ + (m) (m,n) (m,) (0,n)

 位置锚定：^ $ \<,\b \>,\b

 分组与引用：（） \1,\2,\3……

 或：|

 例如：# grep -E "a|b" ：匹配包含字符样式为"a"或"b"的行

       # egrep -i --color=auto 'o' /var/log/boot.log :在/var/log/boot.log查找字母"o"和"O"所在的行

       # egrep --color=auto -n "^ro+" /etc/passwd :查找以r开头后面至少有一个o的用户所在的行

 （3）fgrep

 fgrep的PATTERN中所有的字符都被当做文本字符来处理

 

2、sed：stream EDitor，即流编辑器。

sed是一种行编辑器，其是在执行时被改变，其原数据不变。

3、awk

awk格式为：awk -F "DELIMITER" '[\PATTERN\]{print $1,$2,$3,……$NF}' FILE……

其中，-F "DELIMITER"：是指定字段分隔符，其默认为空白字符。$1,$2,$3,……$NF：根据字段分隔符切割出来的文本片段都存放在相应的内部变量中

gawk即GNU awk，gawk在Linux中用的最多。awk是一种文本格式化工具、文本报告生产器，也叫做文本处理的编程语言。

例如：# awk -F : 'print $NF' /etc/passwd

      # df | tr -s ' ' |cut -d ' ' -f6   （tr为格式转换，例如：tr '\n' ','）

另有其他的文本处理命令：wc、cut、sort、uniq、diff、patch等，具体解释如下：

 wc命令

 wc的格式为：wc [OPTION]…… [FILE……]

 -l：只显示行数

 -w：只显示字数

 -c：只显示字符数

 例如：# wc -l install.log

       # wc last | ec -l

 

 cut命令：remove sections from each line of files

 能够被cut命令修剪的文件，一般都是具有一定结构或格式的文本文档，如/etc/passwd

 cut格式为：cut [OPTION]…… [FILE……]

  -d,delimiter=DELIM：指定在实施修剪操作时所依赖的分隔符，默认是空白字符

  -f,--fields=LIST：根据定义的分隔符来指定字段的编号

  --output-delimiter=STRING：指定输出分隔符，自定义

 cut中地址定界的使用方法如下：

        #：选择被指定的单个字段

        #，#：离散的多个被指定的单个字段

        #-#：连续的多个被指定的字段

sort命令:sort line of text files 

sort命令是将文本文件按行继续排序，默认排序方式是按照ASCII码表中字符顺序进行，这个排序标准可以修改。

-R,--random-sort：随机排序，这种随机算法是非常简陋的，不适合用在复杂环境

-r,--reverce：排序后倒序排序

-u,--unique：去重，重复出现的行，只保留1行，连续且完全相同的叫做重复

-n,--numeric-sort：以数字的数值大小进行排序

-t,--field-separator=SEP：指定字段分隔符

-k,--key=KEYDEF：指明根据哪一个关键字段进行排序，一般和-t一起进行使用

uniq命令:report or omit repeated lines

-d,--repeated:只显示重复出现的行，而且每一组重复行只显示一行

-u,--unique：只显示不重复的行

-c,--count：在每行以前缀的方式显示重复行的重复次数

diff命令: compare files line by line

diff命令是同一文件的不同修改版本:相当于打补丁机制

patch命令:apply changes to files

 patch格式为：patch [-R][-i patchfile]

 -R:恢复还原补丁文件 例如：# patch -R -i name.patch name

其中，diff和patch是一组同时使用的命令。

     本文转自little_ding 51CTO博客，原文链接：http://blog.51cto.com/12496428/1914997，如需转载请自行联系原作者