使用Python编写虚拟机解释器
一、实验说明
1. 环境登录
无需密码自动登录，系统用户名shiyanlou，密码shiyanlou
2. 环境介绍
本实验环境采用带桌面的Ubuntu Linux环境，实验中会用到程序：
1. LX终端（LXTerminal）：Linux命令行终端，打开后会进入Bash环境，可以使用Linux命令
2. GVim：非常好用的编辑器，最简单的用法可以参考课程Vim编辑器
3. 环境使用
使用R语言交互式环境输入实验所需的代码及文件，使用LX终端（LXTerminal）运行所需命令进行操作。
完成实验后可以点击桌面上方的“实验截图”保存并分享实验结果到微博，向好友展示自己的学习进度。实验楼提供后台系统截图，可以真实有效证明您已经完成了实验。
实验记录页面可以在“我的主页”中查看，其中含有每次实验的截图及笔记，以及每次实验的有效学习时间（指的是在实验桌面内操作的时间，如果没有操作，系统会记录为发呆时间）。这些都是您学习的真实性证明。
二、课程介绍
众所周知，python语言作为一门超级人性化的语言越来越被受到重视。虚拟服务同样受到人们的重视，就比如实验楼的虚拟实验环境，那么本次项目的目的就是让大家学会使用python制作一个虚拟解释器，这里的虚拟解释器指的是一定意义上的堆栈机。
感谢Christian Stigen Larsen的开源项目Crianza，那么我们就跟着他一起学习如何创建一个解释器吧！
三、课程内容
>解释器是能够执行用其他计算机语言编写的程序的系统软件，它是一种翻译程序。它的执行方式是一边翻译一边执行，因此其执行效率一般偏低，但是解释器的实现较为简单，而且编写源程序的高级语言可以使用更加灵活和富于表现力的语法。
1、构建堆栈机
堆栈机本身并不拥有寄存器，它的执行原理非常简单：将需要处理的值放入栈中，然后执行它们。尽管堆栈机的原理就是这么简单，但是不能不说它确实很强大，不然Python、Java等高级语言也不会将它作为它们的虚拟机。
无论如何，先来深入了解一下堆栈的原理。首先，我们需要一个指令指针栈，它能够储存返回地址。这个返回地址是当我们执行一个子例程（比如函数）的时候，需要用它跳回到开始调用该函数的地方。
那么有了这个神奇的堆栈，很多复杂难以理解的程序就变得非常简单。比如说，有这么一个数学表达式：(2+3)*4。在堆栈机中，这个数学表达式等价于2 3 + 4 * ——将'2'和'3'依次推入栈中，接下来要推入的指令是'+'，将前面两个数字弹出，令他们执行加法运算后再将它们的和入栈。然后依次将'2'与'3'的和与4相乘的结果推入栈中。运算结束，so easy！
那么，让我们开始建立一个栈，由于Python这个语言拥有类似于C语言中数据结构的一个类collections.deque，因此可以在这个类的基础上定义出属于我们的栈。
from collections import deque class Stack(deque):
"""定义一个栈类"""
# 添加元素
push = deque.append # 返回最后一个元素
def top(self):
return self[-1]
那么这里面既然定义了'push'、'top'方法，为什么没有定义'pop'？因为'deque'这个类本身就拥有方法'pop'，除了'pop'还有'popleft'呢，有兴趣的同学可以研究一下这个类与'list'对象的区别和联系。
接下来，让我们建立一个虚拟机类——'Machine'。综上所述，我们需要两个栈和一段存储代码的内存空间。得益于Python的动态类型，因此我们可以往列表里面存储任何东西，但是我们不能区分列表里面的内置函数和字符串，正确的做法是将Python内置函数单独存放于一个列表，关于这个问题大家可以思考一下。在这个项目中用的是字典)方法，键值分别对应字符串和函数。另外，我们还需要一个指令指针，用来指向代码中下一个需要被执行的模块。
class Machine:
def __init__(self, code):
"""预先定义一个初始化函数""" self.data_stack = Stack()
self.return_addr_stack = Stack()
self.code = code
self.instruction_pointer = 0
再创建一些栈结构中必备的函数：
def pop(self):
return self.data_stack.pop() def push(self, value):
self.data_stack.push(value) def top(self):
return self.data_stack.top()
为了执行我们“操作码”（实际上，并不是真正意义上的操作码，只是一种动态类型，但是你懂得~）我们需要建立一个'dispatch'函数。但是在这之前，我们需要创建一个解释器的循环：
def run(self):
"""代码运行的条件""" while self.instruction_pointer < len(self.code):
opcode = self.code[self.instruction_pointer]
self.instruction_pointer += 1
self.dispatch(opcode)
上面的代码原理很简单：获取下一个指令，指令指针自增1个然后基于操作码执行'dispatch'函数，下面是'dispatch'函数的定义（函数定义有点长，你们可以尝试改进一下）：
def dispatch(self, op):
dispatch_map = {
"%": self.mod,
"*": self.mul,
"+": self.plus,
"-": self.minus,
"/": self.div,
"==": self.eq,
"cast_int": self.cast_int,
"cast_str": self.cast_str,
"drop": self.drop,
"dup": self.dup,
"if": self.if_stmt,
"jmp": self.jmp,
"over": self.over,
"print": self.print_,
"println": self.println,
"read": self.read,
"stack": self.dump_stack,
"swap": self.swap,
} if op in dispatch_map:
dispatch_map[op]()
elif isinstance(op, int):
# 如果指令是整型数据，就将数据存放到数据栈中
self.push(op)
elif isinstance(op, str) and op[0]==op[-1]=='"':
# 如果是字符串类型的，就将字符串内容存放到数据栈中
self.push(op[1:-1])
else:
raise RuntimeError("Unknown opcode: '%s'" % op)
上面的代码非常浅显易懂，就是当输入一段指令，该函数就会根据这段指令在'dispatch_map'字典中找到对应的方法，比如：符号'\*'对应的是'self.mul'函数。以上过程就类似于'Forth'语言的构建过程。
当输入指令'*'，程序就会执行函数'self.mul'，所以我们还需要定义对应的函数：
def mul(self):
self.push(self.pop() * self.pop())
其他的函数定义也是依次类推，根据它们的功能和名称定义不同的函数。
到这里，你可以定义你想要的函数了，一个虚拟机环境基本构成就是这样！
然而并没有完，环境搭建好了，最重要的'解释'还没有完成，一个语言解释器包括两部分：
1. 解析：解析部分接受一个由字符序列表示的输入指令，然后将输入字符分解成一系列的词法单元
2. 执行：程序内部的解释器根据语义规则进一步处理词法单元，进而执行原指令的实际运算。
流程如下图所示：
下面一节中，我们将会讨论如何构建解析器。
2、为我们的指令创建一个简单的解析器
让我们使用'tokenize'模块为输入的指令构建一个解析器吧~
import tokenize
from StringIO import StringIO def parse(text): # 以StingIO的形式将text对象读入到内存中，并以字符串形式返回到 generate_tokens()函数中
tokens = tokenize.generate_tokens(StringIO(text).readline) # generate_tokens生成器生成一个5元祖：标记类型、标记字符串、标记开始位置二元组、标记结束位置二元组以及标记所在的行号
# 下面大写的单词都属于token模块的常量
for toknum, tokval, _, _, _ in tokens:
if toknum == tokenize.NUMBER:
yield int(tokval)
elif toknum in [tokenize.OP, tokenize.STRING, tokenize.NAME]:
yield tokval
elif toknum == tokenize.ENDMARKER:
break
else:
raise RuntimeError("Unknown token %s: '%s'" %
(tokenize.tok_name[toknum], tokval))
更多关于Python令牌器（'tokenize'）的常量查看请查阅官方文档。
3、简单优化：常量折叠
>“常量折叠”是 就是在编译器进行语法分析的时候，将常量表达式计算求值，并用求得的值来替换表达式，放入常量表。可以算作一种编译优化。
def constant_fold(code):
"""对简单的数学表达式诸如：2 3 + 进行计算并将结果作为常数返回原指令列表中"""
while True:
# 在指令中找到两个连续的数字以及一个算数运算符
for i, (a, b, op) in enumerate(zip(code, code[1:], code[2:])):
if isinstance(a, int) and isinstance(b, int) \
and op in {"+", "-", "*", "/"}:
m = Machine((a, b, op))
m.run()
code[i:i+3] = [m.top()]
print("Constant-folded %s%s%s to %s" % (a,op,b,m.top()))
break
else:
break
return code
这个方法唯一的缺点是我们必须得更新跳转的地址，尤其是在遇到读取或者跳转等操作时需要不断的跳转。但是任何问题都有它对应解决的方案，有一个简单的例子就是在跳转的时候只允许调到指令的命名标签上，这样的话，在执行常量折叠之后就可以跳转到它们真正的地址上。
我们可以通过以下代码实现一个简单的“读取-求值-输出循环”的交互式编程环境：
def repl():
print('Hit CTRL+D or type "exit" to quit.') while True:
try:
source = raw_input("> ")
code = list(parse(source))
code = constant_fold(code)
Machine(code).run()
except (RuntimeError, IndexError) as e:
print("IndexError: %s" % e)
except KeyboardInterrupt:
print("\nKeyboardInterrupt")
5、课后作业
1. 列表项试着在不查看完整源代码的情况下制作这个虚拟解释器（可以参考Python内置函数），并尝试生成'Fibonacci'序列，将运行过程和结果截图；
2. 如果完成了第一题，恭喜你，又'get'一个技能，你可以查看下面的完整代码对比你自己的代码，把你的代码中重要的细节和你的思考写入实验报告；
3. 那么接下来请尝试给指令中的函数添加'call'和'return'功能。提示：'call'函数是先将当前地址返回到栈中，再调用'self.jmp'函数。'return'函数显然是先将栈中的地址弹出，根据该地址设置一个指令指针从'call'函数中返回到原来开始被调用的地方。
6、完整代码
代码同样可以通过github获取:
#!/usr/bin/env python
# coding: utf-8 """
A simple VM interpreter. Code from the post at http://csl.name/post/vm/
This version should work on both Python 2 and 3.
""" from __future__ import print_function
from collections import deque
from io import StringIO
import sys
import tokenize def get_input(*args, **kw):
"""Read a string from standard input."""
if sys.version[0] == "":
return raw_input(*args, **kw)
else:
return input(*args, **kw) class Stack(deque):
push = deque.append def top(self):
return self[-1] class Machine:
def __init__(self, code):
self.data_stack = Stack()
self.return_stack = Stack()
self.instruction_pointer = 0
self.code = code def pop(self):
return self.data_stack.pop() def push(self, value):
self.data_stack.push(value) def top(self):
return self.data_stack.top() def run(self):
while self.instruction_pointer < len(self.code):
opcode = self.code[self.instruction_pointer]
self.instruction_pointer += 1
self.dispatch(opcode) def dispatch(self, op):
dispatch_map = {
"%": self.mod,
"*": self.mul,
"+": self.plus,
"-": self.minus,
"/": self.div,
"==": self.eq,
"cast_int": self.cast_int,
"cast_str": self.cast_str,
"drop": self.drop,
"dup": self.dup,
"exit": self.exit,
"if": self.if_stmt,
"jmp": self.jmp,
"over": self.over,
"print": self.print,
"println": self.println,
"read": self.read,
"stack": self.dump_stack,
"swap": self.swap,
} if op in dispatch_map:
dispatch_map[op]()
elif isinstance(op, int):
self.push(op) # push numbers on stack
elif isinstance(op, str) and op[0]==op[-1]=='"':
self.push(op[1:-1]) # push quoted strings on stack
else:
raise RuntimeError("Unknown opcode: '%s'" % op) # OPERATIONS FOLLOW: def plus(self):
self.push(self.pop() + self.pop()) def exit(self):
sys.exit(0) def minus(self):
last = self.pop()
self.push(self.pop() - last) def mul(self):
self.push(self.pop() * self.pop()) def div(self):
last = self.pop()
self.push(self.pop() / last) def mod(self):
last = self.pop()
self.push(self.pop() % last) def dup(self):
self.push(self.top()) def over(self):
b = self.pop()
a = self.pop()
self.push(a)
self.push(b)
self.push(a) def drop(self):
self.pop() def swap(self):
b = self.pop()
a = self.pop()
self.push(b)
self.push(a) def print(self):
sys.stdout.write(str(self.pop()))
sys.stdout.flush() def println(self):
sys.stdout.write("%s\n" % self.pop())
sys.stdout.flush() def read(self):
self.push(get_input()) def cast_int(self):
self.push(int(self.pop())) def cast_str(self):
self.push(str(self.pop())) def eq(self):
self.push(self.pop() == self.pop()) def if_stmt(self):
false_clause = self.pop()
true_clause = self.pop()
test = self.pop()
self.push(true_clause if test else false_clause) def jmp(self):
addr = self.pop()
if isinstance(addr, int) and 0 <= addr < len(self.code):
self.instruction_pointer = addr
else:
raise RuntimeError("JMP address must be a valid integer.") def dump_stack(self):
print("Data stack (top first):") for v in reversed(self.data_stack):
print(" - type %s, value '%s'" % (type(v), v)) def parse(text):
# Note that the tokenizer module is intended for parsing Python source
# code, so if you're going to expand on the parser, you may have to use
# another tokenizer. if sys.version[0] == "":
stream = StringIO(unicode(text))
else:
stream = StringIO(text) tokens = tokenize.generate_tokens(stream.readline) for toknum, tokval, _, _, _ in tokens:
if toknum == tokenize.NUMBER:
yield int(tokval)
elif toknum in [tokenize.OP, tokenize.STRING, tokenize.NAME]:
yield tokval
elif toknum == tokenize.ENDMARKER:
break
else:
raise RuntimeError("Unknown token %s: '%s'" %
(tokenize.tok_name[toknum], tokval)) def constant_fold(code):
"""Constant-folds simple mathematical expressions like 2 3 + to 5."""
while True:
# Find two consecutive numbers and an arithmetic operator
for i, (a, b, op) in enumerate(zip(code, code[1:], code[2:])):
if isinstance(a, int) and isinstance(b, int) \
and op in {"+", "-", "*", "/"}:
m = Machine((a, b, op))
m.run()
code[i:i+3] = [m.top()]
print("Constant-folded %s%s%s to %s" % (a,op,b,m.top()))
break
else:
break
return code def repl():
print('Hit CTRL+D or type "exit" to quit.') while True:
try:
source = get_input("> ")
code = list(parse(source))
code = constant_fold(code)
Machine(code).run()
except (RuntimeError, IndexError) as e:
print("IndexError: %s" % e)
except KeyboardInterrupt:
print("\nKeyboardInterrupt") def test(code = [2, 3, "+", 5, "*", "println"]):
print("Code before optimization: %s" % str(code))
optimized = constant_fold(code)
print("Code after optimization: %s" % str(optimized)) print("Stack after running original program:")
a = Machine(code)
a.run()
a.dump_stack() print("Stack after running optimized program:")
b = Machine(optimized)
b.run()
b.dump_stack() result = a.data_stack == b.data_stack
print("Result: %s" % ("OK" if result else "FAIL"))
return result def examples():
print("** Program 1: Runs the code for `print((2+3)*4)`")
Machine([2, 3, "+", 4, "*", "println"]).run() print("\n** Program 2: Ask for numbers, computes sum and product.")
Machine([
'"Enter a number: "', "print", "read", "cast_int",
'"Enter another number: "', "print", "read", "cast_int",
"over", "over",
'"Their sum is: "', "print", "+", "println",
'"Their product is: "', "print", "*", "println"
]).run() print("\n** Program 3: Shows branching and looping (use CTRL+D to exit).")
Machine([
'"Enter a number: "', "print", "read", "cast_int",
'"The number "', "print", "dup", "print", '" is "', "print",
2, "%", 0, "==", '"even."', '"odd."', "if", "println",
0, "jmp" # loop forever!
]).run() if __name__ == "__main__":
try:
if len(sys.argv) > 1:
cmd = sys.argv[1]
if cmd == "repl":
repl()
elif cmd == "test":
test()
examples()
else:
print("Commands: repl, test")
else:
repl()
except EOFError:
print("")