copy from : https://note.qidong.name/2017/08/android-ninja/
如果说Makefile是一个DSL,那么Ninja就是一种配置文件。 本文简单介绍Android中的Ninja。
Makefile与Ninja的对比
二者最核心的区别,在于设计哲学。 Makefile是设计来给人手写的,而Ninja设计出来是给其它程序生成的。 如果说Makefile是C语言,那么Ninja就是汇编语言。 如果说Makefile是一个DSL,那么Ninja就是一种配置文件。 Makefile支持分支、循环等流程控制,而Ninja只支持一些固定形式的配置。
二者的相同点是,都是为了控制编译流程而设计。 所以,他们的核心功能,都是指定目标,以及目标之间的依赖关系,自动计算执行顺序。
与Makefile相比,由于Ninja仅仅专注于核心的功能,所以有轻巧、速度快的优点。
Makefile默认文件名为Makefile
或makefile
,也常用.make
或.mk
作为文件后缀。 Ninja的默认文件名是build.ninja
,其它文件也以.ninja
为后缀。 执行Makefile的程序,默认是GNU make,也有一些其它的实现。 Ninja的执行程序,就是ninja
命令。
在Android项目中,make
需要编译主机上安装,作为环境的一部分。 而ninja
命令则是Android平台代码自带。
$ find prebuilts/ -name ninja
prebuilts/build-tools/linux-x86/asan/bin/ninja
prebuilts/build-tools/linux-x86/bin/ninja
prebuilts/build-tools/darwin-x86/bin/ninja
ninja命令的用法
通过ninja -h
,可以看到该命令的帮助文档。
$ ninja -h
usage: ninja [options] [targets...]
if targets are unspecified, builds the ‘default‘ target (see manual).
options:
--version print ninja version ("1.7.2")
-C DIR change to DIR before doing anything else
-f FILE specify input build file [default=build.ninja]
-j N run N jobs in parallel [default=6, derived from CPUs available]
-k N keep going until N jobs fail [default=1]
-l N do not start new jobs if the load average is greater than N
-n dry run (don‘t run commands but act like they succeeded)
-v show all command lines while building
-d MODE enable debugging (use -d list to list modes)
-t TOOL run a subtool (use -t list to list subtools)
terminates toplevel options; further flags are passed to the tool
-w FLAG adjust warnings (use -w list to list warnings)
很多参数,和make
是比较类似的,比如-f
、-j
等,不再赘述。 有趣的是-t
、-d
、-w
这三个参数,最有用的是-t
。
$ ninja -t list
ninja subtools:
browse browse dependency graph in a web browser
clean clean built files
commands list all commands required to rebuild given targets
deps show dependencies stored in the deps log
graph output graphviz dot file for targets
query show inputs/outputs for a path
targets list targets by their rule or depth in the DAG
compdb dump JSON compilation database to stdout
recompact recompacts ninja-internal data structures
ninja -t clean
是清理产物,是自带的,而make clean
往往需要自己实现。 其它都是查看编译过程信息的工具,各有作用,可以进行复杂的编译依赖分析。
Ninja的专注,在这里完全超越了Makefile。
Android中的Ninja文件
从Android 7开始,编译时默认使用Ninja。 但是,Android项目里是没有.ninja
文件的。 遵循Ninja的设计哲学,编译时,会先把Makefile通过kati转换成.ninja
文件,然后使用ninja
命令进行编译。 这些.ninja
文件,都产生在out/
目录下,共有三类。
一类是build-*.ninja
文件,通常非常大,几十到几百MB。 对make
全编译,命名是build-<product_name>.ninja
。 如果Makefile发生修改,需要重新产生Ninja文件。
这里Android有一个bug,或者说设计失误。 mm
、mma
的Ninja文件,命名是build-<product_name>-<path_to_Android.mk>.ninja
。 而mmm
、mmma
的Ninja文件,命名是build-<product_name>-_<path_to_Android.mk>.ninja
。 显然,不同的单模块编译,产生的也是不同的Ninja文件。
这个设计本身就有一些问题了,为什么不同模块不能共用一个总的Ninja文件? 这大概还是为了兼容旧的Makefile设计。 在某些Android.mk中,单模块编译与全编译时,编译内容截然不同。 如果说这还只能算是设计失误的话,那么mm
与mmm
使用不同的编译文件,就是显然的bug了。 二者相差一个下划线_
,通过mv
或cp
,可以通用。
第二类是combined-*.ninja
文件。 在使用了Soong后,除了build-*.ninja
之外,还会产生对应的combined-*.ninja
,二者的*
内容相同。 以下以AOSP的aosp_arm64-eng为例,展示out/combined-aosp_arm64.ninja
文件的内容。
builddir = out
include out/build-aosp_arm64.ninja
include out/soong/build.ninja
build out/combined-aosp_arm64.ninja: phony out/soong/build.ninja
这类是组合文件,是把build-*.ninja
和out/soong/build.ninja
组合起来。 所以,使用Soong后,combined-*.ninja
是编译执行的真正入口。
第三类是out/soong/build.ninja
文件,它是从所有的Android.bp
转换过来的。
build-*.ninja
是从所有的Makefile,用Kati转换过来的,包括build/core/*.mk
和所有的Android.mk
。 所以,在不使用Soong时,它是唯一入口。 在使用了Soong以后,会新增源于Android.bp
的out/soong/build.ninja
,所以需要combined-*.ninja
来组合一下。
可以通过以下命令,单独产生全编译的Ninja文件。
make nothing
用ninja编译
在产生全编译的Ninja文件后,可以绕过Makefile,单独使用ninja
进行编译。
全编译(7.0版本),相当于make
:
ninja -f out/build-aosp_arm64.ninja
单独编译模块,比如Settings,相当于make Settings
:
ninja -f out/build-aosp_arm64.ninja Settings
在8.0以上,上面的文件应该替换为out/combined-aosp_arm64.ninja
,否则可能找不到某些Target。
另外,还有办法不用输入-f
参数。 如前所述,如同Makefile之于make
,ninja
默认的编译文件是build.ninja
。 所以,使用软链接,可以避免每次输入繁琐的-f
。
ln -s out/combined-aosp_arm64.ninja build.ninja
ninja Settings
用ninja
进行单模块编译的好处,除了更快以外,还不用生成单模块的Ninja文件,省了四五分钟。
总结
在以Ninja在实际编译中替换Makefile以后,Android在编译时更快了一些。 不过,在首次生成、或重新生成Ninja文件时,往往额外耗时数分钟,反而比原先使用Makefile更慢了。
在增量编译方面,原先由于其Makefile编译系统的实现问题,是不完善的。 也就是说,在make
编译完一个项目后,如果再执行make
,会花费较长时间重新编译部分内容。 而使用Ninja以后,增量编译做得比较完善,第二次make
将在一分钟内结束。
除此之外,由于Ninja的把编译流程集中到了一个文件,并且提供了一些工具命令。 所以编译信息的提取、编译依赖的分析,变得更加方便了。