A gentleman is open-minded and optimistic; a small person is narrow-minded and pessimistic.
"君子坦荡荡,小人长戚戚"
一、正则表达式基础
1、什么是正则表达式
正则表达式(Regular Expression, RE)是对字符串操作的一种逻辑公式,就是用一些事先定义好的特定字符及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑
2、为什么要学习正则表达式
由于其强大的字符串处理能力,目前许多工具和编程语言都支持正则表达式,熟练掌握它可以帮助我们更高效的完成工作
3、语系对正则表达式的影响
由于不同的语系其编码顺序不一样,导致正则表达式的匹配结果可能不一样,所以在使用之前应该先确认当前的语系,也可以使用下面这些特殊符号来避免不同语系带来的问题:
特殊符号 | 代表意义 |
[:alnum:] | 英文大小写字母及数字,即0-9,A-Z,a-z |
[:alpha:] | 英文大小写字母,A-Z,a-z |
[:blank:] | 空格与Tab |
[:cntrl:] | 控制按键,CR,LF,Tab,Del等 |
[:digit:] | 数字,0-9 |
[:graph:] | 除了空格和Tab外的所有按键 |
[:lower:] | 小写字母,a-z |
[:print:] | 可被打印出来的字符 |
[:punct:] | 标点符号,即 ",',?,!,;,:,#,$ |
[:upper:] | 大写字母,A-Z |
[:space:] | 任何会产生空白的字符,包括空格键[Tab] CR等 |
[:xdigit:] | 十六进制的数字类型,包括0-9,A-F,a-f |
4、基础正则表达式字符
RE字符 | 意义与范例 |
^word |
意义:以word开头 范例:查找以'#'开头的那一行 grep -n '^#' filename |
word$ |
意义:以word结尾 范例:查找以'!'结尾的那一行 grep -n '!$' filename |
. |
意义:代表一定有一个任意字符的字符 范例:查找包含字符'a'并且'a'后面至少有一个字符的那一行 grep -n 'a.' filename |
\ |
意义:转义字符,将特殊符号的特殊意义去除 范例:查找包含单引号的那一行 grep -n \' filename |
* |
意义:重复零到无穷多个的前一个字符 范例:查找包含(es)(ess)(esss)等字符串所在的行 grep -n 'ess*' filename |
[list] |
意义:list中的任意一个字符都可以被匹配 范例:查找包含'get'或者'got'的行 grep -n 'g[eo]t' filename |
[n1-n2] |
意义:n1-n2范围内的任意一个字符都可以被匹配 范例:查找包含数字的那一行 grep -n '[0-9]' filename |
[^list] |
意义:不包含在list中的其他任意一个字符 范例:查找不包含大写字母的那一行 grep -n '[^A-Z]' filename |
\{n,m\} |
意义:连续n到m个的前一个字符,若为\{n\}则是连续n个前一个字符, \{n,\}为连续n到无穷多个前一个字符 范例:查找包含'goog'或者'gooog'的那一行 grep -n 'go\{2,3\}g' filename |
5、扩展正则表达式
扩展正则表达式可以通过组合功能,将多次查找变为一次查找,使用 grep -E 或者 egrep 来支持扩展正则表达式
6、扩展正则表达式字符与范例
RE字符 | 意义与范例 |
+ |
意义:重复一个或一个以上的前一个RE字符 范例:查找(god)(good)(goood)等的字符串 egrep -n 'go+d' filename |
? |
意义:零个或一个的前一个RE字符 范例:查找(gd)(god)这两个字符串 egrep -n 'go?d' filename |
| |
意义:用‘或’的方式找出满足不同条件的字符串 范例:查找包含'gd'或'good'或'dog'的字符串 egrep -n 'gd|good|dog' filename |
() |
意义:找出‘组’字符串 范例:查找包含(glad)或(good)的字符串 egrep -n 'g(la|oo)d' filename |
()+ |
意义:多个重复组的判别 范例:查找'A'开头'C'结尾,并且'A'和'C'之间包含一个以上的'xyz'的字符串 egrep -n 'A(xyz)+C' filename |
二、使用正则表达式的工具
1、sed工具
sed是一种以行为单位,对数据进行替换、删除、新增、选取特定行等操作的工具,同时也支持管道
用法:sed [-nefr] [动作]
参数说明:
-n :使用安静模式,加上-n使得只有经过sed处理的那一行才会被显示出来
-e :直接在命令行模式上进行sed的动作编辑
-f :直接将sed的动作写在一个文件内,-f filename则可以执行filename内的sed动作
-r :sed的动作支持的是扩展正则表达式的语法(默认为基础正则表达式语法)
-i :直接修改读取的文件的内容,而不是由屏幕输出
动作说明: [n1[,n2]] function
n1, n2 :一般代表选择进行动作的行数,不一定存在
funciton有下面这些参数:
a :新增,a后面可接字符串,这些字符串会在新的一行出现(当前行的下一行)
c :替换,c后面可接字符串,这些字符串可以替换n1, n2之间的行
d :删除,后面通常不接参数
i :插入,后接字符串,这些字符串将会出现在新的一行(当前行的上一行)
p :打印,将某个选择的数据打印出来,通常 p 会与 sed -n 一起运行
s :替换,可以直接进行替换,通常配合正则表达式使用
范例:
①以行为单位的新增/删除:
$ sed '2,5d' filename #删除第2~5行
$ sed '2a hello world' filename #在第二行后面新增一行,内容为“hello world”
②以行为单位的替换与显示:
$ sed '2,5c No 2-5 number' filename #将第2~5行替换为新的一行,内容为‘No - number’
$ sed -n '2,5p' filename #打印第2~5行,如果不加-n则会把所有数据都输出一遍
③部分数据的查找并替换:sed 's/old/new/g' filename #将'old'替换为'new'
$ sed 's/#.*$//g' #删除注释
$ sed '/^$/d' #删除空行
④直接修改文件内容:加上-i参数可以直接修改文件内容(利用这个功能可以在代码文件中将多行代码注释掉)
推荐阅读:sed简明教程
2、awk工具
awk是一种优良的文本处理工具,支持正则表达式和管道,经常用于将一行分成数个‘字段’来处理
用法:awk '条件类型1{动作1} 条件类型2{动作2} ...' filename #字段分隔符默认为空格或[tab]键
处理流程:
①读入第一行,并将第一行的数据填入$0,$1,...等变量当中;
②依据条件类型的限制,判断是否要进行后面的动作;
③做完所有动作与条件类型;
④重复①~③,直到处理完所有数据;
#字段的变量名称:$0表示整一行,$1代表第一个字段,以此类推
#内置变量:NF(每一行拥有的字段总数)、NR(当前处理的行是第几行)、FS(目前的分隔符)
#逻辑运算符:>、<、>=、<=、==、!=
#关键字:BEGIN、END
#语法: BEGIN{这里面放的是执行前的语句}
# END{这里面放的是处理完所有行后要执行的语句}
# {这里面放的是处理每一行要执行的语句}
范例:
假设有一个文件名为pay.txt,内容如下:
# Name 1st 2nd 3th
# VBird
# DMTsai
# Bird2
如果我要计算每一个人的总额,并且按照一定的格式打印出来,那么可以这样:
$ cat pay.txt | awk 'NR==1{printf "%10s %10s %10s %10s %10s\n", $1, $2, $3, $4, "Total" }
> NR>={total = $ + $ + $
> printf "%10s %10d %10d %10d %10.2f\n", $, $, $, $, total}'
其中的printf的用法和C语言中的差不多,输出的结果类似这样:
# Name 1st 2nd 3th Total
# VBird 72000.00
# DMTsai 64000.00
# Bird2 126000.00
推荐阅读:AWK 简明教程
三、其他工具
1、文件比较工具: diff、cmp、patch
# diff:通常用于同一文件的新旧版本区别上,以行为单位比较
#用法:diff [-bBi] from-file tofile #比较from-file和to-file并输出不同的地方
# cmp:以‘字节’为单位比较
#用法:cmp [-s] file1 file2 #按字节比较file1和file2,并输出发现的第一个不同点,加上-s输出所有不同点
# patch:与 diff 配合制作补丁文件和升级文件
#用法:
$ diff -Naur oldfile newfile > patch_file #通过比较新旧文件制作补丁文件,patch_file通常以.patch为后缀
$ patch -pN < patch_file #更新旧文件,N表示取消几层目录
$ patch -R -pN < patch_file #还原为原来的文件
2、文件打印准备: pr
# pr:为要打印的文件设置标题和页码
#用法:pr filename #为filename的输出加上文件时间、文件名称和页码
总结:正则表达式真的是一种非常有用的工具,由简单的规则可以搭配出复杂的字符串,不过伴随着高效率的往往是高难度,需要以后不断的使用才能逐渐掌握