TW项目后端加速精益求精 用NUMA优化
一、问题描述
上一篇文章描述了在每一次战斗时大量的并行计算被分布进行在CPU和GPU同时计算的方法,本篇文章介绍在CPU运算时,由于战斗线程、游戏逻辑线程、网络线程、数据库存取线程等被分别绑定到不同的CPU核心,所以战斗线程还可以运用numa技术,充分利用cpu的l3cache将运算效率进一步提高20%-30%。
二、利用线程与CPU核心绑定和该核心的L3Cache内存(少量)提高运算
1、首先将战斗线程与CPU内核绑定(https://github.com/OpenHFT/Java-Thread-Affinity.git)
2、用numa编程使改运算在CPU本地运行
申请内存时用numa_alloc_onnode函数,在numa_alloc_onnode内部调用了mmap(内存申请并映射)和dombind(内存绑定)。
dombind里边调用的mbind,mbind里边调用的syscall6,syscall6调用了汇编(见下)将内存和内核绑定。
long syscall6(long call, long a, long b, long c, long d, long e, long f)
{
long res;
asm volatile ("movq %[d],%%r10 ; movq %[e],%%r8 ; movq %[f],%%r9 ; syscall"
: "=a" (res)
: "0" (call),"D" (a),"S" (b), "d" (c),
[d] "g" (d), [e] "g" (e), [f] "g" (f) :
"r11","rcx","r8","r10","r9","memory" );
if (res < 0) {
errno = -res;
res = -1;
}
return res;
}
3、结论:numa技术比较成熟,开发难度不是太大,实际测试运算效率会有20-30%的提高。