《自然语言处理》- Python正则表达式

2022-09-27 19:05:05

1. Python 正则表达式

1.1 正则表达式语法

《自然语言处理》- Python正则表达式

1.2 正则表达式工具

2. Python案例

  • Re 模块
  • 使用re的一般步骤是
    1. 将正则表达式的字符串形式编译为 Pattern 实例
    2. 使用 Pattern 实例处理文本并获得匹配结果（一个 Match 实例）
    3. 使用 Match 实例获得信息，进行其他的操作。
# encoding: UTF-8
import re

rule = r'hello.*\!' # 正则表达式规则 : 匹配 hello 开头, ! 结尾的字符串

# 将正则表达式编译成 Pattern 对象
pattern = re.compile(rule)

# 使用Pattern匹配文本，获得匹配结果，无法匹配时将返回None
match = pattern.match('hello, hanxiaoyang! How are you?')

if match:
    # 使用Match获得分组信息
    print(match.group())

hello, hanxiaoyang! How are you?

2.1 re.compile

  • re.compile(strPattern[, flag]):
  • 这个方法是 Pattern 类的工厂方法，用于将字符串形式的正则表达式编译为 Pattern 对象。
  • 第二个参数 flag 是匹配模式，取值可以使用按位或运算符’|'表示同时生效，比如 re.I | re.M。
  • 也可以在 regex 字符串中指定模式，比如 re.compile(‘pattern’, re.I | re.M) 等价于 re.compile(’(?im)pattern’)
  • flag 可选值有:
    1. re.I(re.IGNORECASE): 忽略大小写（括号内是完整写法，下同）
    2. re.M(MULTILINE): 多行模式，改变’^‘和’$'的行为（参见上图）
    3. re.S(DOTALL): 点任意匹配模式，改变’.'的行为
    4. re.L(LOCALE): 使预定字符类 \w \W \b \B \s \S 取决于当前区域设定
    5. re.U(UNICODE): 使预定字符类 \w \W \b \B \s \S \d \D 取决于unicode定义的字符属性
    6. re.X(VERBOSE): 详细模式。这个模式下正则表达式可以是多行，忽略空白字符，并可以加入注释。以下两个正则表达式是等价的：
regex_1 = re.compile(r"""\d +  # 数字部分
                         \.    # 小数点部分
                         \d *  # 小数的数字部分""", re.X)
regex_2 = re.compile(r"\d+\.\d*")
regex_1, regex_2

(re.compile(r'\d +  # 数字部分\n                         \.    # 小数点部分\n                         \d *  # 小数的数字部分',
 re.UNICODE|re.VERBOSE),
 re.compile(r'\d+\.\d*', re.UNICODE))

2.2 Match

  • Match对象是一次匹配的结果，包含了很多关于此次匹配的信息，可以使用Match提供的可读属性或方法来获取这些信息。

  • match属性：

    1. string: 匹配时使用的文本。
    2. re: 匹配时使用的Pattern对象。
    3. pos: 文本中正则表达式开始搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。
    4. endpos: 文本中正则表达式结束搜索的索引。值与Pattern.match()和Pattern.seach()方法的同名参数相同。
    5. lastindex: 最后一个被捕获的分组在文本中的索引。如果没有被捕获的分组，将为None。
    6. lastgroup: 最后一个被捕获的分组的别名。如果这个分组没有别名或者没有被捕获的分组，将为None。

  • 方法：

    1. group([group1, …]):
      获得一个或多个分组截获的字符串；指定多个参数时将以元组形式返回。group1可以使用编号也可以使用别名；编号0代表整个匹配的子串；
      不填写参数时，返回group(0)；没有截获字符串的组返回None；截获了多次的组返回最后一次截获的子串。
    2. groups([default]):
      以元组形式返回全部分组截获的字符串。相当于调用group(1,2,…last)。default表示没有截获字符串的组以这个值替代，默认为None。
    3. groupdict([default]):
      返回以有别名的组的别名为键、以该组截获的子串为值的字典，没有别名的组不包含在内。default含义同上。
    4. start([group]):
      返回指定的组截获的子串在string中的起始索引（子串第一个字符的索引）。group默认值为0。
    5. end([group]):
      返回指定的组截获的子串在string中的结束索引（子串最后一个字符的索引+1）。group默认值为0。
    6. span([group]):
      返回(start(group), end(group))。
    7. expand(template):
      将匹配到的分组代入template中然后返回。template中可以使用\id或\g、\g引用分组，但不能使用编号0。\id与\g是等价的；但\10将被认为是第10个分组，如果你想表达\1之后是字符’0’，只能使用\g<1>0。
import re

# \w : 表示单词字符 : [a-z0-9]
rule = '(\w+) (\w+) (?P<sign>.*)'

m = re.match(rule, 'hello ni hao ya!')

print("匹配时使用的文本 : ", m.string)
print("匹配时使用的Pattern对象 : ", m.re)
print("文本中正则表达式开始搜索的索引 : ", m.pos)
print("文本中正则表达式结束搜索的索引 : ", m.endpos)
print("最后一个被捕获的分组在文本中的索引 : ", m.lastindex)
print("最后一个被捕获的分组的别名 : ", m.lastgroup)

print("m.group(1, 2) : ", m.group(1, 2))
print("m.groups() : ", m.groups())
print("m.groupdict() : ", m.groupdict())
print("m.start(2) : ", m.start(2))
print("m.end(2) : ", m.end(2))
print("m.span(2) : ", m.span(2))
print(m.expand(r'\2 \1 \3'))

匹配时使用的文本 :  hello ni hao ya!
匹配时使用的Pattern对象 :  re.compile('(\\w+) (\\w+) (?P<sign>.*)')
文本中正则表达式开始搜索的索引 :  0
文本中正则表达式结束搜索的索引 :  16
最后一个被捕获的分组在文本中的索引 :  3
最后一个被捕获的分组的别名 :  sign
m.group(1, 2) :  ('hello', 'ni')
m.groups() :  ('hello', 'ni', 'hao ya!')
m.groupdict() :  {'sign': 'hao ya!'}
m.start(2) :  6
m.end(2) :  8
m.span(2) :  (6, 8)
ni hello hao ya!

2.3 Pattern

  • Pattern 对象是一个编译好的正则表达式，通过 Pattern 提供的一系列方法可以对文本进行匹配查找。
  • Pattern 不能直接实例化，必须使用 re.compile() 进行构造。
  • Pattern 提供了几个可读属性用于获取表达式的相关信息:
    1. pattern: 编译时用的表达式字符串。
    2. flags: 编译时用的匹配模式。数字形式。
    3. groups: 表达式中分组的数量。
    4. groupindex: 以表达式中有别名的组的别名为键、以该组对应的编号为值的字典，没有别名的组不包含在内。
import re

rule = '(\w+) (\w+)(?P<sign>.*)' # r'' 是为了防止字符转义
p = re.compile(rule, re.DOTALL) # re.S(DOTALL): 点任意匹配模式，改变'.'的行为

print("编译时用的表达式字符串: " , p.pattern)
print("编译时用的匹配模式。数字形式: " , p.flags)
print("表达式中分组的数量: " , p.groups)
print("p.groups: " , p.groupindex)

编译时用的表达式字符串:  (\w+) (\w+)(?P<sign>.*)
编译时用的匹配模式。数字形式:  48
表达式中分组的数量:  3
p.groups:  {'sign': 3}

2.4 使用Pattern

  • match(string[, pos[, endpos]]) | re.match(pattern, string[, flags]):
    这个方法将从 string 的 pos 下标处起尝试匹配 pattern:
    1. 如果 pattern 结束时仍可匹配，则返回一个Match对象
    2. 如果匹配过程中 pattern 无法匹配，或者匹配未结束就已到达 endpos，则返回 None。
    3. pos 和 endpos 的默认值分别为 0 和 len(string)。
    4. 注意：这个方法并不是完全匹配。当 pattern 结束时若 string 还有剩余字符，仍然视为成功。想要完全匹配，可以在表达式末尾加上边界匹配符’$’。
  • search(string[, pos[, endpos]]) | re.search(pattern, string[, flags]):
    1. 这个方法从 string 的 pos 下标处起尝试匹配 pattern
    2. 如果 pattern 结束时仍可匹配，则返回一个 Match 对象
    3. 若无法匹配，则将 pos 加1后重新尝试匹配，直到 pos=endpos 时仍无法匹配则返回 None。
    4. pos 和 endpos 的默认值分别为 0 和 len(string))
import re

# 将正则表达式编译成 Pattern 对象
rule = r'W.*i'
pattern = re.compile(rule) # 匹配规则以 W 开头, i结尾, 中间可以是任意字符

# 使用search()查找匹配的子串，不存在能匹配的子串时将返回None
# 这个例子中使用match()无法成功匹配
text = 'Hello, Wangtianci!'
match = pattern.search(text)
if match:
    # 使用Match获得分组信息
    print(match.group())

Wangtianci
  • split(string[, maxsplit]) | re.split(pattern, string[, maxsplit]):
    1. 按照能够匹配的子串将string分割后返回列表。
    2. maxsplit用于指定最大分割次数，不指定将全部分割。
import re

rule = r'\d+' # 表示 \d : 0 ~ 9 == [0-9]
p = re.compile(rule)
print(p.split('one1two2three3four4'))

['one', 'two', 'three', 'four', '']
  • findall(string[, pos[, endpos]]) | re.findall(pattern, string[, flags]):
    1. 搜索string，以列表形式返回全部能匹配的子串。
import re

rule = r'\d+' # 表示 \d : 0 ~ 9 == [0-9]
p = re.compile(rule)
print(p.findall('one1two2three3four4'))

['1', '2', '3', '4']
  • finditer(string[, pos[, endpos]]) | re.finditer(pattern, string[, flags]):
    1. 搜索string，返回一个顺序访问每一个匹配结果（Match对象）的迭代器。
import re

rule = r'[a-z]+' # 匹配字母的字符串
text = 'aaa1bbb2ccc3ddd4'
p = re.compile(rule)
for m in p.finditer(text):
    print(m.group())

aaa
bbb
ccc
ddd
  • sub(repl, string[, count]) | re.sub(pattern, repl, string[, count]):
    1. 使用repl替换string中每一个匹配的子串后返回替换后的字符串。
    2. 当repl是一个字符串时，可以使用\id或\g、\g引用分组，但不能使用编号0。
    3. 当repl是一个方法时，这个方法应当只接受一个参数（Match对象），并返回一个字符串用于替换（返回的字符串中不能再引用分组）。
      count用于指定最多替换次数，不指定时全部替换。
rule = r'\d+' # 匹配字母的字符串
text = 'aaa1bbb2ccc3ddd'
p = re.compile(rule)

# repl : 字符串
print(p.sub(',', text)) # 替换掉匹配的字符

# repl : 方法
def func(m):
    # m  : <re.Match object; span=(3, 4), match='1'>
    print(m)
    # return m.group(0).title() + ' ' + m.group(1).title()
    return ','

print(p.sub(func, text))

aaa,bbb,ccc,ddd
<re.Match object; span=(3, 4), match='1'>
<re.Match object; span=(7, 8), match='2'>
<re.Match object; span=(11, 12), match='3'>
aaa,bbb,ccc,ddd
  • subn(repl, string[, count]) |re.sub(pattern, repl, string[, count]):
    1. 返回 (sub(repl, string[, count]), 替换次数)。
rule = r'\d+' # 匹配字母的字符串
text = 'aaa1bbb2ccc3ddd'
p = re.compile(rule)

# repl : 字符串
print(p.subn(',', text)) # 返回替换次数

('aaa,bbb,ccc,ddd', 3)
上一篇：SpringBoot 接口校验（非空、非法字符/特殊字符、长度等）


下一篇：Java 正则表达式