正则表达式(Regular Expression, RegEx)学习入门

1. 概述

正则表达式(Regular Expression, RegEx)是一种匹配模式,描述的是一串文本的特征。

正如自然语言中高大、坚固等词语抽象出来描述事物特征一样,正则表达式就是字符的高度抽象,用来描述字符串的特征。

正则表达式通常不独立存在,各种编程语言和工具作为宿主语言提供对正则的支持,并根据自身语言的特点,进行一定的剪裁或扩展。

正则入门很容易,有限的语法规则很容易掌握,但是目前正则的普及率并不高,主要是因为正则的流派众多,各种宿主语言提供的文档都过多的关注于自身的一些细节,而这些细节通常是初学者并不需要关注的。

当然,如果想要深入的了解正则表达式,这些细节又是必须被关注的,这是后话,让我们先从正则的基础开始,进入正则表达式的世界。

2. 正则表达式基础

2.1 基本概念

2.1.1 字符串组成

正则表达式(Regular Expression, RegEx)学习入门
对于字符串a5,是由两个字符a5以及三个位置组成的,这一点对于正则表达式的匹配原理理解很重要。

2.1.2 占有字符和零宽度

正则表达式匹配过程中,如果子表达式匹配到的是字符内容,而非位置,并被保存到最终的匹配结果中,那么就认为这个子表达式是占有字符的;如果子表达式匹配的仅仅是位置,或者匹配的内容并不保存到最终的匹配结果中,那么就认为这个子表达式是零宽度的。

占有字符还是零宽度,是针对匹配的内容是否保存到最终的匹配结果中而言的。

占有字符是互斥的,零宽度是非互斥的。也就是一个字符,同一时间只能由一个子表达式匹配,而一个位置,却可以同时由多个零宽度的子表达式匹配。

2.1.3 正则表达式构成

正则表达式由两种字符构成。一种是在正则表达式中具体特殊意义的元字符,另一种是普通的文本字符

元字符可以是一个字符,如^,也可以是一个字符序列,如\w

2.2 元字符(Meta Character)

2.2.1 字符组(Character Classes)

字符组可以匹配[ ]中包含的任意一个字符。虽然可以是任意一个,但只能是一个。

字符组支持由连字符-来表示一个范围。当-前后构成范围时,要求前面字符的码位小于后面字符的码位。

[^…]排除型字符组。排除型字符组表示任意一个未列出的字符,同样只能是一个。排除型字符组同样支持由连字符-来表示一个范围。

表达式 说明
[abc] 表示abc
[0-9] 表示0~9中任意一个数字,等价于[0123456789]
[\u4e00-\u9fa5] 表示任意一个汉字
[^a1<] 表示除a1<外的其它任意一个字符
[^a-z] 表示除小写字母外的任意一个字符

举例:
[0-9][0-9]在匹配Windows 2003时,匹配成功,匹配的结果为20
[^inW]在匹配Windows 2003时,匹配成功,匹配的结果为d

2.2.2 常见字符范围缩写

对于一些常用的字符范围,如数字等,由于非常常用,即使使用[0-9]这样的字符组仍显得麻烦,所以定义了一些元字符,来表示常见的字符范围。

表达式 说明
\d 任意一个数字,相当于[0-9],即0~9中的任意一个
\w 任意一个字母或数字或下划线,相当于[a-zA-Z0-9_]
\s 任意空白字符,相当于[ \r\n\f\t\v]
\D 任意一个非数字字符,\d取反,相当于[^0-9]
\W w取反,相当于[^a-zA-Z0-9_]
\S 任意非空白字符,\s取反,相当于[^ \r\n\f\t\v]

举例:
\w\s\d在匹配Windows 2003时,匹配成功,匹配的结果为s 2

2.2.3 小数点

小数点可以匹配除\n以外的任意一个字符。如果要匹配包括\n在内的所有字符,一般用[\s\S],或者是用.(?s)匹配模式来实现。

表达式 说明
. 匹配除了换行符\n以外的任意一个字符
2.2.4 其它元字符
表达式 说明
^ 匹配字符串开始的位置,不匹配任何字符
$ 匹配字符串结束的位置,不匹配任何字符
\b 匹配单词边界,不匹配任何字符

举例:

^a在匹配cba时,匹配失败,因为表达式要求开始位置后面是字符a,而cba显然是不满足的。
\d$在匹配123时,匹配成功,匹配结果为3,这个表达式要求匹配结尾处的数字,如果结尾处不是数字,如123abc,则是匹配失败的。

2.2.5 转义字符

一些不可见字符,或是在正则中具有特殊意义的元字符,如想匹配字符本身,需要用\对其进行转义。

表达式 说明
\r\n 回车和换行
\\ 匹配\本身
\^\$\. 分别匹配^$.

以下字符在匹配其本身时,通常需要进行转义。在实际应用中,根据具体情况,需要转义的字符可能不止如下所列字符:
 . $ ^ { [ ( | ) + ? \

2.2.6 量词(Quantifier)

量词表示一个子表达式可以匹配的次数。量词可以用来修饰一个字符、字符组,或是用()括起来的子表达式。一些常用的量词被定义成独立的元字符。

表达式 说明 举例
{m} 表达式匹配m \d{3}相当于\d\d\d”(abc){2}相当于abcabc| |{m,n}| 表达式匹配最少*m*次,最多*n*次 |\d{2,3}可以匹配12321等*2*到*3*位的数字 | |{m,}| 表达式至少匹配*m*次 |[a-z]{8,}表示至少*8*位以上的字母 | |?| 表达式匹配*0*次或*1*次,相当于{0,1}|ab?可以匹配aab| || 表达式匹配0次或任意多次,相当于{0,}|<[^>]>[^>]表示*0*个或任意多个不是>的字符 | |+| 表达式匹配*1*次或意多次,至少*1*次,相当于{1,}|\d\s+\d`表示两个数字中间,至少有一个以上的空白字符

注意:在不是动态生成的正则表达式中,不要出现{1}这样的量词,如\w{1}在结果上等价于\w,但是会降低匹配效率和可读性,属于画蛇添足的做法。

2.2.7 分支结构(Alternation)

当一个字符串的某一子串具有多种可能时,采用分支结构来匹配,|表示多个子表达式之间的关系,|是以()限定范围的,如果在|的左右两侧没有()来限定范围,那么它的作用范围即为|左右两侧整体。

表达式 说明
\| 多个子表达式之间取的关系

举例:
^aa|b$在匹配cccb时,是可以匹配成功的,匹配的结果是b,因为这个表达式表示匹配^aab$,而b$在匹配cccb时是可以匹配成功的。
^(aa|b)$在区配cccb时,是匹配失败的,因为这个表达式表示在开始结束位置之间只能是aab,而cccb显然是不满足的。

3. 正则表达式进阶

3.1 捕获组(Capture Group)

捕获组就是把正则表达式中子表达式匹配的内容,保存到内存中以数字编号或手动命名的组里,以供后面引用。

表达式 说明
(Expression) 普通捕获组,将子表达式Expression匹配的内容保存到以数字编号的组里
(?<name> Expression) 命名捕获组,将子表达式Expression匹配的内容保存到以name命名的组里

普通捕获组(在不产生歧义的情况下,简称捕获组)是以数字进行编号的,编号规则是以(从左到右出现的顺序,从1开始进行编号。通常情况下,编号为0的组表示整个表达式匹配的内容。

命名捕获组可以通过捕获组名,而不是序号对捕获内容进行引用,提供了更便捷的引用方式,不用关注捕获组的序号,也不用担心表达式部分变更会导致引用错误的捕获组。

3.2 非捕获组

一些表达式中,不得不使用( ),但又不需要保存( )中子表达式匹配的内容,这时可以用非捕获组来抵消使用( )带来的副作用。

表达式 说明
(?:Expression) 进行子表达式Expression的匹配,并将匹配内容保存到最终的整个表达式的区配结果中,但Expression匹配的内容不单独保存到一个组内

3.3 反向引用

捕获组匹配的内容,可以在正则表达式的外部程序中进行引用,也可以在表达式中进行引用,表达式中引用的方式就是反向引用。

反向引用通常用来查找重复的子串,或是限定某一子串成对出现。

表达式 说明
\1\2 对序号为12的捕获组的反向引用
\k<name> 对命名为name的捕获组的反向引用

举例:
(a|b)\1在匹配abaa时,匹配成功,匹配到的结果是aa(a|b)在尝试匹配时,虽然既可以匹配a,也可以匹配b,但是在进行反向引用时,对应()中匹配的内容已经是固定的了。

3.4 环视(Look Around)

环视只进行子表达式的匹配,匹配内容不计入最终的匹配结果,是零宽度的。

环视按照方向划分有顺序和逆序两种,按照是否匹配有肯定和否定两种,组合起来就有四种环视。环视相当于对所在位置加了一个附加条件。

表达式 说明
(?<=Expression) 逆序肯定环视,表示所在位置左侧能够匹配Expression
(?<!Expression) 逆序否定环视,表示所在位置左侧不能匹配Expression
(?=Expression) 顺序肯定环视,表示所在位置右侧能够匹配Expression
(?!Expression) 顺序否定环视,表示所在位置右侧不能匹配Expression

举例:
(?<=Windows )\d+在匹配Windows 2003时,匹配成功,匹配结果为2003。我们知道\d+表示匹配一个以上的数字,而(?<=Windows )相当于一个附加条件,表示所在位置左侧必须为Windows,它所匹配的内容并不计入匹配结果。同样的正则在匹配Office 2003时,匹配失败,因为这里任意一串数字子串的左侧都不是Windows

(?!1)\d+在匹配123时,匹配成功,匹配的结果为23\d+匹配一个以上数字,但是附加条件(?!1)要求所在位置右侧不能是1,所以匹配成功的位置是2前面的位置。

3.5 忽略优先和匹配优先


未完 ......

点击访问原文(进入后根据右侧标签,快速定位到本文)

上一篇:python字符串,列表,字典的常用方法


下一篇:[转载]正则表达式参考文档 - Regular Expression Syntax Reference.