为sproto手写了一个python parser

这是sproto系列文章的第三篇,可以参考前面的《为sproto添加python绑定》、《为python-sproto添加map支持》。

sproto是云风设计的序列化协议,用于高效的打包解包游戏协议数据。有点类似Google推出的protobuf,但是比protobuf要快。结构上有点类似cap'n Proto,但是没有打算直接使用其作为内存组织结构,因此少了数据对齐的部分。目前使用场景主要是在游戏客户端和服务器端的RPC协议上。

sproto比较有趣的一点,是可以自描述,用sproto协议本身描述自己:(摘自云风博客)UPDATED:博客的是错误的,正确的在代码注释里:

.type {
.field {
name : string
buildin : integer
type : integer
tag : integer
array : boolean
key : integer # If key exists, array must be true, and it's a map.
}
name : string
fields : *field
}
.protocol {
name : string
tag : integer
request : integer # index
response : integer # index
}
.group {
type : *type
protocol : *protocol
}

这么简单的结构,正好拿来练手写parser。Lua的LPEG库实在太强大,于是先试了一下pypeg2去解决这个问题。尝试的过程参见:https://github.com/spin6lock/sproto_python_parser,最后失败了。回想了一下,PEG文法其实跟上下文无关文法相当类似,只是不存在二义性,能够通过一个token来完全决定接下来的解析树。这个跟递归下降法有点类似了,便顺手撸了一发:https://github.com/spin6lock/yapsp

代码主要分成两部分,lexer和parser。lexer辨别的token可以参见常量定义,基本上用正则表达式搞定了,只花了一点点时间。Parser多花了好一段,主要是忘了要封装一些方便的函数出来使用,比如expecting和optional。Parser实现的是一个基于递归下降法的语法分析器,由于sproto的语法特别简单,所以可以透过窥视下一个token,便知晓接下来要解析的是什么结构,然后调用相应的方法解析即可。

上一篇:Android官方技术文档翻译——Gradle 插件用户指南(6)


下一篇:10分钟教你用python 30行代码搞定简单手写识别!