python中的高级特性之一就是内置了list,dict等。今天就先围绕列表(List)进行源码分析。
Python中的List对象(PyListObject)
Python中的的PyListObject是对列表的一个抽象,内置了插入、添加、删除等操作。不同List中存储的元素的个数会是不同的,所以PyListObject是一个变长对象。而PyListObject中支持插入删除等操作,可以在运行时动态地调整其所维护的内存和元素,所以它又是一个可变对象。
PyListObject的定义
在列表对象接口listobject.h中,PyListObject的定义是:
typedef struct {
PyObject_VAR_HEAD
PyObject **ob_item; Py_ssize_t allocated;
其中,ob_item是指向了元素列表所在的内存块的首地址,allocated维护了当前列表中的可容纳的元素的总数。
我们知道,用户选用list正是为了可以频繁的执行插入或删除等操作,如果是需要存多少就申请多大的内存,这种内存管理显然是低效的。那么Python内部是怎么实现的呢?这就与刚才所提到的allocated有关了,我们知道,在PyObject_VAE_HEAD中有一个ob_size,在PyListObject中,每一次需要申请内存时,总会申请一大块内存存,这时申请的总内存的大小记录记录在allocated中,而其中实际被使用了的内存的数量则记录在ob_size中。
PyListObject对象的创建与维护
创建
在列表对象的实现文件listObject.c文件中,我们可以看到,Python对于创建一个列表,提供了唯一的一条途径,就是PyList_New(),对应的代码如下:
PyObject *
PyList_New(Py_ssize_t size)
{
PyListObject *op;
size_t nbytes;
#ifdef SHOW_ALLOC_COUNT
static int initialized = ;
if (!initialized) {
Py_AtExit(show_alloc);
initialized = ;
}
#endif if (size < ) {
PyErr_BadInternalCall();
return NULL;
}
//进行溢出检查
if ((size_t)size > PY_SIZE_MAX / sizeof(PyObject *))
return PyErr_NoMemory();
nbytes = size * sizeof(PyObject *);
//为PyListObject对象申请空间,使用到缓冲池技术
if (numfree) {
numfree--;
op = free_list[numfree];
_Py_NewReference((PyObject *)op);
#ifdef SHOW_ALLOC_COUNT
count_reuse++;
#endif
} else {
op = PyObject_GC_New(PyListObject, &PyList_Type);
if (op == NULL)
return NULL;
#ifdef SHOW_ALLOC_COUNT
count_alloc++;
#endif
}
//为PyListObject对象中维护的元素列表申请空间
if (size <= )
op->ob_item = NULL;
else {
op->ob_item = (PyObject **) PyMem_MALLOC(nbytes);
if (op->ob_item == NULL) {
Py_DECREF(op);
return PyErr_NoMemory();
}
memset(op->ob_item, , nbytes);
}
Py_SIZE(op) = size;
op->allocated = size;
_PyObject_GC_TRACK(op);
return (PyObject *) op;
}
首先,进行溢出检查。接下来,就是List对象的创建了,Python中的list对象实际上是分为两部分的,一是PyListObject对象本身,二是PyListObject对象维护的元素列表,而这两块内存是通过ob_item建立联系的。
在创建PyListObject对象时,首先检查缓冲池中free_list是否有可用的对象,如果有,则直接使用,若没有可用对象,则通过PyObject_GC_New在系统堆中申请内存,在Python2.7.12中,free_lists中最多维护80个PyListObject对象。
当创建了新的PyListObject对象之后,会根据调用PyList_New是传递的size参数创建ListObject对象所维护的元素列表。
设置元素
元素创建好了,下一步就是向元素中添加元素了,通过PyList_SetItem()实现:
int
PyList_SetItem(register PyObject *op, register Py_ssize_t i,
register PyObject *newitem)
{
register PyObject *olditem;
register PyObject **p;
if (!PyList_Check(op)) {
Py_XDECREF(newitem);
PyErr_BadInternalCall();
return -;
}
//索引检查
if (i < || i >= Py_SIZE(op)) {
Py_XDECREF(newitem);
PyErr_SetString(PyExc_IndexError,
"list assignment index out of range");
return -;
}
//存放元素
p = ((PyListObject *)op) -> ob_item + i;
olditem = *p;
*p = newitem;
Py_XDECREF(olditem);
return ;
}
首先,进行类型检查,然后进行索引的有效性检查,当类型检查和索引检查均通过的时候,就可以将待加入的Pyobject*指针放在指定的位置了。
插入元素
插入元素和设置元素的不同在于:设置元素不会将ob_item指向的内存发生变化,而插入内存可能会导致ob_item指向的内存发生变化。
比如:
a = [0, 0, 0, 0];
a[2] = 3;
print a
[0, 0, 3, 0]
a.insert(2,3)
[0,0,2,3,0]
这个插入动作确实导致了元素列表的内存发生变化。关于插入,在列表中有两种操作:insert()和append()。
insert通过调用PyList_Insert()方法来完成元素的插入动作,首先判断PyListObject对象有足够的内存容纳我们期望插入的元素,然后调用list_resize()函数调整列表容量,确定插入点,插入元素。
在调整PyListObject对象所维护对象的内存时,Python使用了两种方法:
1. 当newsize < allocated && newsize > allocated/2 时,简单调整ob_size;
2. 调用realloc,重新分配空间。
append是通过调用PyList_Append()方法,在第ob_size+1个位置上插入。
删除元素
对于一个容器而言,除了创建,插入这些操作,肯定是还得有删除操作的。
remove()
a = [1, 2, 3, 4]
print a.remove(3)
[1, 2, 4]
remove()调用了listremove操作。Python会对整个列表进行遍历,将待删除的元素与PyListObject中的每个元素一一比较,比较操作通过PyObject_RichCompareBool完成,当返回值大于0,则表示列表中有和待删元素匹配的元素,则Python发现之后调用list_ass_slice删除该元素。
PyListObject对象缓冲池
在这之前,我们学习到,在创建PyListObject对象时,会首先检查缓冲区中的free_lists中是否有可用的对象。
在创建一个新的的对象时,实际也是分为两部,首先创建PyListObject对象,然后创建PyListObject对象所维护的元素列表,与之对应,在销毁一个list时,销毁的过程也是分离的,首先销毁PyListObject所维护的元素列表,然后释放PyListObject对象自身。。
在删除PylsitObject对象自身时,Python会先检查我们开始提到的那个缓冲池free_list,查看其中缓存的PyListObject的数量是否已经满了,如果没有,就将待删除的PyListObject对象放到缓冲池中,以备后用。
因此,那个在Python启动时空荡荡的缓冲池原来都是被本应该死去的PyListObject对象给填充了,在以后需要创建新的PyListObject的时候,Python会首先唤醒这些对象,重新分配Pyobject*元素列表占用的内存,重新拥抱新的对象。