综上可知,如果类没有在加载时的verifyAndOptimizeClass()
的方法打上 CLASS_ISPERVERIFIED/CLASS_ISOPTIMIZED
这两个标识,则会在 类的初始化时去执行类的校验和优化。
由于类检验的任务可以认为是很重的,因为会对类的所有方法中的所有指令都做校验,单个类加载时耗时并不多,但是同一个时间点加载大量的类情况下,这种耗时就会被放大。所以这也是插桩给类的加载效率带来比较大影响的后果。(因为这些情况都是放在第一次安装Apk的时候做的)
我们知道若采用插桩,会导致所有类都非perverify,从而导致类校验和类优化会在类加载时触发。
平均每个类检验与优化的耗时并不长, 而且这个耗时每个类只有一次(类只会加载一次)。但是由于在应用刚启动这种场景下一般会同时加载大量的类,因此在这种情况下影响还是蛮大的,启动的时候就容易白屏,这一点用户是无法容忍的。
手机QQ热补丁轻量级 QFix方案提供了一种不同的思路:
上图是 dvmResolveClass()
的内容,从1.2节中我们知道,如果不插桩,会走到上图的第二个方框的if语句内,该判断检验两个东西:
-
类的
CLASS_ISPERVERIFIED
是否为true(插桩方案就是使这个判断为false) -
fromUnverifiedConstant
是否为false
而QFix的思路则是将着手点放在fromUnverifiedConstant
上,如果它为true,那么就不用再使用 插桩的方案了。
那该怎样改变这个字段的值呢?
我们首先要保证 resClass不为null,即 dvmDexGetResolvedClass()
的返回结果不为null,如果保证这个方法的返回值不为null呢?
我们只需要调用过一次 dvmDexSetResolvedClass(pDvmDex, classIdx, resClass);
就可以了,下面举个例子来简单说明:
public class B {
public static void test() {
A.a();
}
}
我们此时需要打包的类A,所以类A被打入到一个独立的补丁 dex文件中。
那么执行到类B的test方法时,A.a();
这行代码就会尝试去解析类A,此时进行 dvmResolveClass(const ClassObject* referrer, u4 classIdx, bool fromUnverifiedConstant)
.
-
referrer:实际上是类B
-
classIdx:类A在原dex文件结构类区中的索引ID
-
fromUnverifiedConstant:是否执行 const-class/instance-of 指令
此时调用的是类A的静态a方法, invoke-static
指令不属于 const-class/instance-of
这两个指令。如果不做任何处理,dvmDexGetResolvedClass()
的返回值时null。因为类A是从补丁dex中解析加载的,类B是在原dex中,所以 B->pDvmDex != A->pDvmDex
,接下来就会看到 dvmThrowIllegalAccessError
从而导致运行异常。
为了避免异常,必须要在开始的时候,就把补丁类A添加到原有dex(pDvmDex)的pResClasses数组中。这样就确保了在执行类B的test方法时,dvmDexGetResolvedClass()
返回值不为null了。这样就会在图片中注释3的下面一行,直接返回这个resClass,而不会去执行后续类A和类B的dex一致性校验了。
具体实现,首先通过补丁工具反编译dex为smali文件拿到以下文件。
preResolveClz
需要打包的类A的描述符,非必须,为了调试方便加上该参数而已
referClz
需要打包的类A所在的dex文件的任何一个类描述符,注意,这里不限定必须是引用补丁类A的某个类,实际上只要是同一个dex
中的任意一个类都可以。所以我们直接拿原dex
中的第一个类即可。
classIdx
需要打包的类A在原有dex文件中的类索引ID。
然后通过dlopen 拿到 libdvm.so
库的句柄,通过 dlsym拿到该so库的 dvmResolveClass/dvmFindLoadedClass
函数指针。首先需要预加载引用类xxx/xxx/class,这样dvmFindLoadedClass(xxx/xxx/class)
返回值才不为null,然后 dvmFindLoadedClass()
的执行结果得到的 ClassObejct作为第一个参数执行 dvmResolvedClass(class,id ,true)
即可。
下面来看下JNI层代码实现。实际上可以看到 preResolveClz参数是非必须的:
jboolean resolveClodPatchClasses(JNIEnv *env, jclass clz, jstring preResolveClz, jstring refererClz, jlong classIdx, dexstuff_t *dexstuff) {
LOGD(“start resolveClodPatchClasses”);
ClassObject *refererObj = dexstuff->dvmFindLoadedClass_fnPtr(
Jstring2CStr(env, refererClz)); //通过refererClz 调用dvmFindLoadedClass加载补丁类
LOGD(“referrer ClassObject: %s\n”, refererObj->decriptor);
if (strlen(refererObj->descriptor) == 0) {
return JNI_FALSE;
}
ClassObject *resolveClass = dexstuff->dvmResolveClass-fnPtr(refererObj, classIdx, true); //调用dvmResolveClass方法
LOGD(“classIDx ClassObject: %s\n”, resolveClass->descriptor);
if (strlen(resolveClass->descriptor) == 0) {
return JNI_FLASE;
}
return JNI_TRUE;
}
这个思路不同于去Hook某个系统方法,而是从native层直接调用,同时更不需要插桩。具体实现需要注意以下3点:
-
dvmResolveClass的第三个参数 fromUnverifiedConstant必须为true。
-
在Apk多dex的情况下,
dvmResolveClass()
的第一个参数referrer类必须跟需要打包的类在同一个dex中,但是它们两个类不需要存在任何引用关系,任何一个在同一个dex中的类作为referrer都可以。 -
referrer类必须提前加载。
然而,QFix的方案有它独特的缺陷,由于是在dexopt后绕过的,dexopt会改变原有的很多逻辑,许多odex层面的优化会固定字段和方法的访问偏移,这就会导致比较严重的bug,在2.2节会详细讲解这一影响。最后采用的是自研的全量dex方案,具体在下一章讲解。
前面说过补丁在热部署模式下是一个完整的类,补丁的粒度是类。现在的需求是补丁既能走热部署模式也能走冷启动模式,为了减小补丁包的大小,并没有为热部署和冷启动分别准备一套补丁,而是在同一个热部署模式下补丁能够降级直接走冷启动,所以不需要做dex merge。
但是通过前面的阅读,我们知道了为了解决Art下类地址写死的问题,Tinker通过 dex merge成一个全新完整的新dex整体替换掉旧的dexElements数组。事实上,Art虚拟机下面默许已经支持多dex压缩文件的加载。
下面分别来看一下 DVM和ART对 DexFile.loadDex()
尝试把一个dex文件解析加载到native中,内存都发生了什么。实际上都是调用了 DexFile.openDexFileNative()
这个native方法。看下 native层对应的 C/C++代码具体实现。
(1)在DVM中的实现:
// dalvik/vm/native/dalvik_system_DexFile.cpp
static void Dalvik_dalvik_system_DexFile_openDexFileNative(const u4* args,
JValue* pResult)
{
…
if (hasDexExtension(sourceName)
&& dvmRawDexFileOpen(sourceName, outputName, &pRawDexFile, false) == 0) { //加载一个原始dex文件
ALOGV(“Opening DEX file ‘%s’ (DEX)”, sourceName);
pDexOrJar = (DexOrJar*) malloc(sizeof(DexOrJar));
pDexOrJar->isDex = true;
pDexOrJar->pRawDexFile = pRawDexFile;
pDexOrJar->pDexMemory = NULL;
} else if (dvmJarFileOpen(sourceName, outputName, &pJarFile, false) == 0) { //加载一个压缩文件
ALOGV(“Opening DEX file ‘%s’ (Jar)”, sourceName);
pDexOrJar = (DexOrJar*) malloc(sizeof(DexOrJar));
pDexOrJar->isDex = false;
pDexOrJar->pJarFile = pJarFile;
pDexOrJar->pDexMemory = NULL;
} else {
ALOGV(“Unable to open DEX file ‘%s’”, sourceName);
dvmThrowIOException(“unable to open DEX file”);
}
…
}
int dvmJarFileOpen(…){
…
entry = dexZipFindEntry(&archive, kDexInJarName); /* kDexInJarName==“classes.dex”,说明只加载一个dex */
…
}
在 dvmJarFileOpen()
方法中,Dalvik尝试加载一个压缩文件的时候只会去把 classes.dex
加载到内存中。如果此时压缩文件中有多个dex文件,那么除了classes.dex
之外的其他dex
文件将会被直接忽略掉。
在Art虚拟机下:方法调用链 DexFile_openDexFileNative -> OpenDex.FilesFromOat -> LoadDexFiles
具体代码就不展示了,我们只需要知道,在Art下默认已经支持加载压缩文件中包含多个dex,首先肯定加载primary dex也就是 classes.dex
,后续会加载其他的dex。所以补丁类只需要放到classes.dex
中即可,后续出现在其他dex中的“补丁类”是不会被重复加载的。
所以Sophix得到在Art最终的冷启动方案:我们只要把补丁dex命名为classes.dex
。原Apk中的dex依次命名为 classes(2,3,4...).dex
就可以了,然后一起打包为一个压缩文件,在通过 DexFile.loadDex()
得到DexFile
对象,最后用该DexFile
对象整体替换旧的dexElements
数组就可以了。
Sophix方案和Tinker方案的不同点如下所示:
需要注意:
-
补丁dex必须命名为
classes.dex
-
用
loadDex()
得到的DexFile完整替换掉 dexElements数组而不是插入。
我们知道DexFile.loadDex()
尝试把一个dex文件解析并加载到native内存, 在加载到native内存之前, 如果dex不存在对应的odex, 那么Dalvik下会执行dexopt
, Art下会执行dexoat
, 最后得到的都是一个优化后的odex。 实际上最后虚拟机执行的是这个odex而不是dex。
现在有这么一个问题,如果dex足够大那么dexopt/dexoat实际上是很耗时的,根据上面我们提到的方案, Dalvik下实际上影响比较小, 因为loadDex仅仅是补丁包。 但是Art下影响是非常大的, 因为loadDex是补丁dex和apk中原dex合并成的一个完整补丁压缩包, 所以dexoat非常耗时。
所以如果优化后的odex文件没生成或者没生成一个完整的odex文件, 那么loadDex便不能在应用启动的时候进行的, 因为会阻塞loadDex线程, 一般是主线程。 所以为了解决这个问题, 我们把loadDex当做一个事务来看, 如果中途被打断, 那么就删除odex文件, 重启的时候如果发现存在odex文件, loadDex完之后, 反射注入/替换dexElements数组, 实现patch。 如果不存在odex文件, 那么重启另一个子线程loadDex, 重启之后再生效。
另外一方面为了patch补丁的安全性, 虽然对补丁包进行签名校验, 这个时候能够防止整个补丁包被篡改, 但是实际上因为虚拟机执行的是odex而不是dex, 还需要对odex文件进行md5完整性校验, 如果匹配, 则直接加载。 不匹配,则重新生成一遍odex文件, 防止odex文件被篡改。
代码修复冷启动方案由于它的高兼容性, 几乎可以修复任何代码修复的场景, 但是注入前被加载的类(比如:Application类)肯定是不能被修复的。 所以我们把它作为一个兜底的方案, 在没法走热部署或者热部署失败的情况, 最后都会走代码冷启动重启生效, 所以我们的补丁是同一套的。 具体实施方案对Dalvik下和Art下分别做了处理:
- Dalvik下通过巧妙的方式避免插桩, 没有带来任何类加载效率的影响。
- Art下本质上虚拟机已经支持多dex的加载, 我们要做的仅仅是把补丁dex作为主dex(classes.dex)加载而已。
===============================================================================
前面我们知道冷启动方案几乎可以修复任何场景的代码缺陷,但Dalvik下的QFix方案存在很大的限制,下面将深入介绍在目前方案下为什么会有这些限制,同时给出具体的解决方案。
实现多态的技术一般叫做动态绑定,是指在执行期间判断所引用对象的实际类型,根据其实际的类型调用其相应的方法。多态一般指的是非静态私有方法的多态,field和静态方法不具有多态性。示例如下:
public class B extends A {
Strign name = “B name”;
@Override
void a_t1() {
System.out.println(“B a_t1”);
}
void b_t1(){}
public static void main(String[] args) {
A obj = new B();
System.out.println(obj.name);
obj.a_t1();
}
}
class A {
String name = “A name”;
void a_t1() {
System.out.println(“A a_1…”);
}
void a_t2();
}
输出结果: A name / B a_t1
可以看到name这个field没有多态性,print这个方法具有多态性,这里先分析一下方法多态性的实现。首先 new B()
的执行会尝试加载类B,方法调用链 dvmResolveClass->dvmLinkClass->createVtable
,此时会为类B创建一个vtable,其实在虚拟机中加载每个类都会为这个类生成一张vtable
表,vtable
表就是当前类的所有virtual
方法的一个数组,当前类和所有继承父类的public/protected/default
方法就是virtual方法,因为public/protected/default修饰的方法是可以被继承的。private/static方法不属于这个范畴,因为不能被继承。
这里就不放 createVtable()
的代码了,有兴趣的可以自行上网查阅,这里来大概说一下它做了什么,子类vtable的大小等于子类virtual方法数+父类vtable的大小:
-
整体复制父类的vtable到子类的vtable
-
遍历子类的virtual方法集合,如果方法原型一致,说明是重写父类方法,那么在相同索引位置处,子类重写方法覆盖掉vtable中父类的方法
-
若方法原型不一致,那么把该方法添加到vtable末尾。
所以在上述示例中,假如父类A的vtable是 vtable[0]=A.a_t1, vtable[1]=A.a_t2
,那么B类的vtable就是 vtable[0]=B.a_t1, vtable[1]=A.a_t2, vtable[2]=B.b_t1
。接下来 obj.a_t1()
发生了什么。invoke-virtual指令的解释如下:
…
if(methodCallRange) {
thisPtr = (Object*) GET_REGISTER(vdst);
} else {
thisPtr = (Object*) GET_REGISTER(vdst & 0x0f); //当前对象
}
baseMethod = dvmDexGetReslvedMethod(methodClassDex, ref); //是否已经解析过该方法
if(baseMethod == NULL) {
baseMethod = dvmResolveMethod(curMethod->clazz, ref, METHOD_VIRTUAL);
//没有解析过该方法调用 dvmResolveMethod,baseMethod得到的当然是A.a_t1方法
…
}
methodToCall = thisPtr->clazz->vtable[baseMethod->methodIndex]; /* A.a_t1方法在类A的vtable中的索引去类B的vtable中查找
…
首先 obj 引用类型是基类A,所以上述代码中 baseMethod
拿到的是 A.a_t1()
,baseMethod->methodIndex
是该方法在类A的vtable中的索引0,obj的实际类型是类B,所以thisPtr->clazz就是类B,那么 B.vtable[0]
就是 B.a_t1()
方法,所以 obj.a_t1()
实际上最后调用的是 B.a_t1()
方法。这样就实现了方法的多态。
至于field/static方法为什么不具有多态性,这里不进行详细的代码分析,有需要的可以看 iget/invoke-static
的指令解释,简单来讲,是从当前变量的引用类型而不是实际类型中查找,如果找不到,再去父类中递归查找。
所以field和static方法不具备多态性。
obj 引用类型是基类A,所以上述代码中 baseMethod
拿到的是 A.a_t1()
,baseMethod->methodIndex
是该方法在类A的vtable中的索引0,obj的实际类型是类B,所以thisPtr->clazz就是类B,那么 B.vtable[0]
就是 B.a_t1()
方法,所以 obj.a_t1()
实际上最后调用的是 B.a_t1()
方法。这样就实现了方法的多态。
至于field/static方法为什么不具有多态性,这里不进行详细的代码分析,有需要的可以看 iget/invoke-static
的指令解释,简单来讲,是从当前变量的引用类型而不是实际类型中查找,如果找不到,再去父类中递归查找。
所以field和static方法不具备多态性。