彻底理解AC多模式匹配算法

(本文尤其适合遍览网上的讲解而仍百思不得姐的同学)

一、原理

AC自动机首先将模式组记录为Trie字典树的形式,以节点表示不同状态,边上标以字母表中的字符,表示状态的转移。根节点状态记为0状态,表示起始状态。当一个状态处有一个模式串终结则标记一下。

目前流传较多的讲解多大同小异,尤其是配图,基本采用的是Aho和Corasiek两位巨巨的文章efficient string matching an aid to bibliographic search里的,窃以为那张示意图存在失配点靠前的特点(什么是失配?往下看),看起来稍稍费劲。

我找了样例画了一套新图,主要目标是通过稍微的夸张(失配点远离)让过程更清晰。

彻底理解AC多模式匹配算法

匹配的过程是:从0状态起点开始,以字符流输入,进行适当的状态转移,如果可以抵达某一标记终结的状态,则成功匹配模式,串值为从0到终结点的路径。

按照传统的说法,状态机有三个主要函数支撑:goto(状态正常转移),fail(状态失配转移),output(传回匹配结果),而我认为与其规定是具体的函数,倒不如说是三个功能的模块,有不同于函数的实现形式。

Trie树的建立是简单的,在此基础上我们要完善更多的数据结构,实现goto的功能。

goto是自动机基本的状态转移过程,很好想,就是在建立Trie树时让每个状态维护一组指针(广义的),使得在每一状态对于输入都可以正确转移,没有对应的则报错(现在回答刚才的问题,什么是失配?失配就是一个状态接受了无法转移的字符,记fail)。除了字典树中的树枝以外,还有一个转移就是在开始节点,对于不能流进自动机的字符,不报错而是再一次转到开始节点(如上图示),很好理解,对于待匹配串λthis,λ为不含t,h的任意串,真正的模式匹配是在去除了它以后开始的。(当然还有其他的用意,坑稍后填)

好了,正常的状态流转已经建立好了,现在看失配时我们的状态流何去何从。举一个栗子,如果输入thip这个串,状态的流转应该如下图:

彻底理解AC多模式匹配算法

那3状态处报错后应该怎么处理呢?最好想的方法当然是错开一位,再从头开始匹配(这种方法就像一位老人家曾经说过,太年轻太简单,有时还很幼稚),AC二位的办法是——利用图中的关系计算出一套跳转关系——在x点处失配的串不打回开头来过,而是跳到y点——继续匹配当前字符。这套规则叫做失配函数,也就是fail功能模块。要点在于当前字符不向前回溯,想想着很适合字符流的关键字匹配对不对。

好了,告诉大家3状态的失配跳转在6状态,先不用管怎么得到的,想想这个过程:3得到p字符,失配,凭goto无法转移状态,使用失配时通用的fail,状态跳至6,接受p——还是这个字符,成功匹配到终结状态7。单趟遍历目标串,cool。

当然这套规则是需要小心计算的。采用的方法很巧妙,在树形结构中很像广度优先搜索BFS,数学形式又很像动态规划DP。

正式开始之前请认真思考这个情况:已知2状态的失配跳转为5,怎么求3状态的失配跳转?从图中很容易看出,2通过i流向3,而5恰有对i的goto,自然地,3失配时可以跳转至6,哒哒

现在我把图小小地改动一下,把hip变成hop,我们都喜欢hip-hop~:

彻底理解AC多模式匹配算法

2的失配跳转仍然是5,然而对于所有使2不失配的字符,5都没有合适的goto——即会在5也失配,此种情况怎么求3的失配跳转?

请仔细读这两句话:

2的失配跳转说明不能采用前缀th

5的失配跳转说明不能采用前缀h(现在不要想2的事情了,单独想5)

——失配跳转实际上是一个逐字符推后匹配模式前缀的过程

那么既然h开头的也不能匹配模式了,那么对于目标串,要从i开始匹配了——下一次状态就是5的失配跳转0!

这是一个向前递归的过程,而前面提到0的大量无匹配字符均指回0自己则巧妙地保证了这个递归会最不济也在会0处停下:这种时候则是放弃之前的全部前缀从当前字符重新开始尝试匹配了,对吧。

我要强调,失配跳转的过程中当前字符是不变的。

至此,我们也完整的构造了fail模块的规则。

output需要做的则是对匹配路径上的每一状态,检查是否为一个模式的终结,如果是,用一种合适的方式传回这个匹配的结果。

Another question!目标串全部模式匹配:在匹配到一个模式后,应当驱动自动机继续无遗漏地匹配下一个出现的模式(这个下一模式也许会和已匹配的部分或全部重叠),我再次重复这句话,失配跳转实际上是一个逐字符推后匹配模式前缀的过程,那么应该很简单了吧,匹配到一个模式后自然一次失配跳转就行了!自动机会把前缀去掉一个字符继续匹配。

二、关于自动机的数据结构表示

我在原理中避开一个一定要解释清楚的问题,就是自动机的数据结构实现。Aho & Corasiek的论文中称为goto/fail/output function,与其理解为函数倒不如说是功能,因为它们的实现不必是有输入输出的函数,而可以是向更直接的数据结构直接查询。

我实践中认为易于实现的写法:goto功能就可以实现在结点结构中,每个状态维护一个转向结点的指针,无效则置空;fail即可以是一张自动机维护的表;output在结点中标记是否终结,如果终结,状态结点存储模式串,检测到终结直接传回。

三、完整代码

 #include <cstdlib>
#include <set>
#include <string>
#include <vector>
#include <queue>
#include <iostream> using namespace std; #define ALPHABET_NUMBER 26 struct StateNode
{
bool finish_{ false };
int state_{ };
string pattern_{};
//goto table
vector<StateNode *> transition_table_{ vector<StateNode *>(ALPHABET_NUMBER) };
}; class ACSM
{
private:
StateNode *start_node_;
int state_count_;
vector<StateNode *> corresponding_node_;
vector<StateNode *> fail_;
public:
ACSM() :start_node_{ new StateNode() }, state_count_{ }
{
//state0 is start_node_
corresponding_node_.push_back(start_node_);
}
//read all patterns and produce the goto table
void load_pattern(const vector<string> &_Patterns)
{
int latest_state = ;
for (const auto &pattern : _Patterns)
{
auto *p = start_node_;
for (int i = ; i < pattern.size(); ++i)
{
auto *next_node = p->transition_table_[pattern[i] - 'a'];
if (next_node == nullptr)
{
next_node = new StateNode();
}
if (next_node->state_ == )
{
next_node->state_ = latest_state++;
//update the table
corresponding_node_.push_back(next_node);
}
//the goto table
p->transition_table_[pattern[i] - 'a'] = next_node;
p = next_node;
}
p->finish_ = true;
p->pattern_ = pattern;
}
for (int i = ; i < ALPHABET_NUMBER; ++i)
{
if (start_node_->transition_table_[i] == nullptr)
{
start_node_->transition_table_[i] = start_node_;
}
}
state_count_ = latest_state;
}
//produce fail function
void dispose()
{
queue<StateNode *> q;
fail_ = std::move(vector<StateNode *>(state_count_));
for (const auto nxt : start_node_->transition_table_)
{
//d=1,f=0
if (nxt->state_ != )
{
fail_[nxt->state_] = start_node_;
q.push(nxt);
}
}
//calculate all fail redirection
while (!q.empty())
{
auto known = q.front();
q.pop();
for (int i = ; i < ALPHABET_NUMBER; ++i)
{
auto nxt = known->transition_table_[i];
if (nxt && nxt->state_ != )
{
auto p = fail_[known->state_];
while (!p->transition_table_[i])
{
p = fail_[p->state_];
}
fail_[nxt->state_] = p->transition_table_[i];
q.push(nxt);
}
}
}
}
//search matching
void match(const string &_Str, set<string> &_S)
{
auto p = start_node_;
for (int i = ; i < _Str.size(); ++i)
{
int trans = _Str[i] - 'a';
p =
p->transition_table_[trans]
? p->transition_table_[trans]
: (--i, fail_[p->state_]);
if (p->finish_)
{
_S.insert(p->pattern_);
}
}
}
}; int main()
{
ACSM acsm;
vector<string> patterns{ "his","hers","she","he" };
set<string> matched;
acsm.load_pattern(patterns);
acsm.dispose();
string str{ "hishers" };
acsm.match(str, matched);
for (const auto str : matched)cout << str << endl;
system("pause");
return ;
}

谢谢阅读

上一篇:Mongo 批量存储数据


下一篇:Spring整合JUnit4进行AOP单元测试的时候,报:"C:\Program Files\Java\jdk1.8.0_191\bin\java.exe" -ea -Didea.test.cyclic.buffer.size=1048576 "-javaagent:C:\Program Files\JetBrains\IntelliJ IDEA 2018.3\lib\idea_rt.jar=64