使用std::map和std::list存放数据,消耗内存比实际数据大得多

使用std::map和std::list存放数据,消耗内存比实际数据大得多

场景:项目中需要存储一个结构,如下程序段中TEST_DATA_STRU,结构占24B。但是使用代码中的std::list<DataListMap>类存储4000个DataListMap,每个DataListMap中有4个pairs,每个pair中的DataList中有6000个items时,消耗掉的内存几乎是我们存放TEST_DATA_STRU的2倍。

#include <iostream>
#include <map>
#include <list>
#include <vector> typedef struct TEST_DATA_STRU
{
int Data_A;
int Data_B;
int Data_C;
int Data_D;
}TEST_DATA_STRU; typedef std::list<TEST_DATA_STRU> DataList;
typedef std::map<int, DataList> DataListMap; int main(int argc, char **argv)
{
std::cout << "create a map" << std::endl;
DataListMap dataListMap;
// there are 100 pairs in the dataListMap
for(int i=0; i<100; ++i)
{
DataList dataList;
// there are 1000 items in a dataList
for(int j=0; j<1000; ++j)
{
TEST_DATA_STRU testStru = {i, j, i+j, i-j};
dataList.push_back(testStru);
}
dataListMap.insert(make_pair(i, dataList));
} std::cout << "data size of DataListMap: " << sizeof(TEST_DATA_STRU) * 1000 + sizeof(int) * 100 << std::endl; std::cout << "testing..." << std::endl;
std::list<DataListMap> mapList;
for(int i=0; i<4000; ++i)
{
mapList.push_back(dataListMap);
} // finally the memory of mapList is about double of the data we want to save
return 0;
}

最后通过分析,排除了内存泄露等情况后,将原因锁定在DataListMap类上。进一步分析后才找到原因:我们存放的结构占用24B,但是std::map和std::list中的指针就会占用24B以上,所以最终std::map和std::list自身所需的内存几乎和我们存储的数据一样大,甚至更大。

深入分析:std::list和std::map属于散列容器,容器的空间之间是通过指针来关联的,所以指针会占用一部分内存,当自身存放的数据较2*8(std::list,双向链表)差别不大时,会有很大的额外内存开销。为了避免此开销,可以使用线性容器,std::vector。

修改代码如下:使用std::vector取代std::list

#include <iostream>
#include <map>
#include <list>
#include <vector> typedef struct TEST_DATA_STRU
{
int Data_A;
int Data_B;
int Data_C;
int Data_D;
}TEST_DATA_STRU; typedef std::list<TEST_DATA_STRU> DataList;
typedef std::map<int, DataList> DataListMap; typedef std::vector<TEST_DATA_STRU> DataVec;
typedef std::map<int, DataVec> DataVecMap; int main(int argc, char **argv)
{
std::cout << "create a map" << std::endl;
//DataListMap dataListMap;
DataVecMap dataVecMap;
// there are 100 pairs in the dataListMap
for(int i=0; i<100; ++i)
{
//DataList dataList;
DataVec dataVec;
dataVec.reserve(1000);
// there are 1000 items in a dataList
for(int j=0; j<1000; ++j)
{
TEST_DATA_STRU testStru = {i, j, i+j, i-j};
//dataList.push_back(testStru);
dataVec.push_back(testStru);
}
//dataListMap.insert(make_pair(i, dataList));
dataVecMap.insert(make_pair(i, dataVec));
} std::cout << "data size of DataListMap: " << sizeof(TEST_DATA_STRU) * 1000 + sizeof(int) * 100 << std::endl; std::cout << "testing..." << std::endl;
//std::list<DataListMap> mapList;
std::list<DataVecMap> mapList;
for(int i=0; i<4000; ++i)
{
//mapList.push_back(dataListMap);
mapList.push_back(dataVecMap);
} // finally the memory of mapList is almost same with the data we want to save
return 0;
}

最终省去了额外的内存开销。

记于2016.04.14 22:28:24。

上一篇:Cocos2dx开发——Win8.1下 NDK r10 环境搭建


下一篇:请问如何等待异步API调用返回结果后再将结果返回给主进程?