关于llvm kaleidoscope: 记一次Debug血泪之路

2021-11-27 02:22:16

简而言之，慎(bu)用(yong)全局变量！

这次debug基本上花了我一周的时间，我基本上是晚上9点30下自习回然后调试到11点30，如此反复一周直到今天周五终于解决了，，以前都听说前辈们说尽量不要使用全局变量，我只当个笑话顺而过，今天我可能走了前辈们的老路，我实在忍不住要告诫各位请慎用全局变量，如果不当笑话对待这点那这篇文章目的就达到了，后面可以省略了。

以下是可以被省略的正文。上学期到这学期始我林林总总写过几个编译器前端，有lexyacc自底向上自动生成的也有手写词法分析自顶向下的递归下降分析，但是还从来没做过后端，一来是感觉自己差点火候二来也太懒感觉量大繁琐。这学期开学偶然在知乎听说llvm有成熟的代码生成优化以及到到目标机器的代码生成，想来自己看了那么多theory还从来没有实践过真正的编译器，说不遗憾肯定是假的，然后我翻了一遍llvm documentation发现有个极简编译器kaleidoscope的demo，于是准备撸起袖子实现一遍，官方demo是linux下的，我用visual
studio 2015实现了一遍，然后稍微把它面向对象了一番。问题就在这里的“稍微”，我只把词法分析语法分析用面向对象进行表示，其余部分用demo里的静态/全局变量/函数。直到LLVM IR代码生成都是熟悉的味道熟悉的套路，但是到了chapter4添加了一个优化器和JIT解释器就遇到了九天神坑，首先一大堆LINK ERRORs，好在都在接受范围内，编译了一大堆依赖项后编译通过了。当我输入一个表达式"1+2"就出现了nullptr异常，然后我从startup开始很自然的进入parser.parserDriver();

int main() {

	llvm::InitializeNativeTarget();

	llvm::InitializeNativeTargetAsmPrinter();

	llvm::InitializeNativeTargetAsmParser();

	kaleidoscope::Parser parser;

	fprintf(stderr, ">> ");

	parser.getNextToken();

	theJIT = llvm::make_unique<llvm::orc::KaleidoscopeJIT>();

	initializeModuleAndPassManager();

	parser.parserDriver();

	return 0;

}

进入parserDriver后大概长这个样子

/// top ::= definition | external | expression | ';'

void kaleidoscope::Parser::parserDriver() {

	while (true) {

		fprintf(stderr, ">> ");

		switch (currentToken) {

		case Token::TokenEOF:

			return;

		case ';': // ignore top-level semicolons.

			getNextToken();

			break;

		case Token::TokenDef:

			handleFunctionDefinition();

			break;

		case Token::TokenExtern:

			handleExtern();

			break;

		default:

			handleTopLevelExpression();

			break;

		}

	}

}

这里由于我输入的是"1+2"在kaleidoscope的定义里面应该属于toplevelexpression，继续跟踪handleTopLevelExpression(),

void kaleidoscope::Parser::handleTopLevelExpression() {

	if (auto funcAST = parseTopLevelExpr()) {

		if (funcAST->codegen()) {

			//omit these codes...

		}

	}

	else {

		getNextToken();

	}

}

我也不清楚到底是解析表达式错误还是代码生成，先进parserTopLevelExpr下了断点看了一下函数正常返回，排除解析错误那接下来就是代码生成

llvm::Function * FunctionAST::codegen() {

	auto & p = *(this->funcProto);

	funcPrototypeMap[this->funcProto->getFunctionName()] = std::move(this->funcProto);

	llvm::Function * theFunction = getSpecifiedFunction(p.getFunctionName());

        //omit...

}

逐语句跑了一遍发现是第三行引发的异常，断点显式getFunctionName没有问题，那肯定就是函数问题了，继续跟踪getSpecifiedFunction

static llvm::Function * getSpecifiedFunction(std::string name) {

	// First, see if the function has already been added to the current module.

	if (auto *F = theModule->getFunction(name))

		return F;

	// If not, check whether we can codegen the declaration from some existing

	// prototype.

	auto FI = funcPrototypeMap.find(name);

	if (FI != funcPrototypeMap.end())

		return FI->second->codegen();

	// If no existing prototype exists, return null.

	return nullptr;

}

逐语句发现是对llvm::Module::getFunction的问题，getFunction在module的符号表查询指定的函数如果不存在就返回null

Function *Module::getFunction(StringRef Name) const {

  return dyn_cast_or_null<Function>(getNamedValue(Name));

}

继续getNamedValue()

GlobalValue *Module::getNamedValue(StringRef Name) const {

  return cast_or_null<GlobalValue>(getValueSymbolTable().lookup(Name));

}

问题就在这里了，异常显示的this is nullptr也就是说getValueSymbolTable返回的是nullptr理所当然后面的lookup成员函数调用出错，进入getValueSymbolTable

  /// Get the symbol table of global variable and function identifiers

  const ValueSymbolTable &getValueSymbolTable() const { return *ValSymTab; }

这是Module类的一个函数，返回private ValueSymbolTable *ValSymTab;而ValSymTab在module初始化的时候会分配内存

Module::Module(StringRef MID, LLVMContext &C)

    : Context(C), Materializer(), ModuleID(MID), SourceFileName(MID), DL("") {

  ValSymTab = new ValueSymbolTable();

  NamedMDSymTab = new StringMap<NamedMDNode *>();

  Context.addModule(this);

}

但是这里ValSymTab指向的内存却是没有分配。我想应该是堆不够的问题，我相信我的电脑，没有为什么，然后剩下的可能就是theModule变量出现了问题。纵观整个解决方案，用到static std::unique_ptr<llvm::Module> theModule;也就initializeModuleAndPassManager(),getSpecifiedFunction(std::string name),我先是构跟踪n了itializeModuleAndPassManager()，回到main，断点显式theJIT没有问题（这里多说一句，在windows下KaleidoscopeJIT里面的if
(auto Sym = CompileLayer.findSymbolIn(H, Name, true))应该改成false否则会出现问题，这也是个坑），进入initializeModuleAndPassManager()

int main() {

	llvm::InitializeNativeTarget();

	llvm::InitializeNativeTargetAsmPrinter();

	llvm::InitializeNativeTargetAsmParser();

	kaleidoscope::Parser parser;

	fprintf(stderr, ">> ");

	parser.getNextToken();

	theJIT = llvm::make_unique<llvm::orc::KaleidoscopeJIT>();

	initializeModuleAndPassManager();

	parser.parserDriver();

	return 0;

}

断点显示变量都没问题了，都正常被赋值了，wtf？难道我之前跟踪错了？诡异的事情发生了，我顺手给theModule加了个监控，虽然在这个initializeModuleAndPassManager里面theModule没有任何问题，但是进入parser.parserDriver后突然监控显示变量就出现问题了，我真是一脸懵逼，parser.parserDriver()根本没有对theModule的操作啊，为什么无缘无故变量的值会变，我都不知道看了多少遍源码，终于发现AST.h里面的theModule是按照官方demo的写法是static变量，我隐约记得全局static变量只能在文件内使用，而我在codegen的文件内直接引用了它，虽然不明白为什么会过编译但所幸发现了问题，去掉static后LINKERROR报错显示这几个变量重定义，因为多次include
.h文件变量会多次定义，最后放到.cpp编译通过输入"1+2"显示"evaluate to 3.00000"莫名感动。

回想起这惨痛的debug经历深感惭愧，感觉写多了业务逻辑代码脑子里好像少了一种思考的东西，忘记了很多基础，遇到问题就无脑baidu google，稍微解决不了就换库换包，一直顺风顺水没怎么自己努力解决过问题，没想过有些东西换上千百次都不会变。痛定思痛，文以记之。

码农公寓

相关文章