我想在函数上使用一个装饰器,我将随后传递给一个多处理池.但是,代码失败了“PicklingError：无法pickle：属性查找__builtin __.函数失败”.我不太明白为什么它在这里失败了.我确信它很简单,但我找不到它.下面是一个最小的“工作”示例.我认为使用functools函数就足以让它工作了.

如果我注释掉功能装饰,它的工作没有问题.我在这里误解多处理是什么意思？有没有办法让这项工作？

编辑：添加可调用的类装饰器和函数装饰器之后,事实证明函数装饰器按预期工作.可调用类装饰器继续失败.什么是可调用的类版本,使其不被腌制？

import random
import multiprocessing
import functools

class my_decorator_class(object):
    def __init__(self, target):
        self.target = target
        try:
            functools.update_wrapper(self, target)
        except:
            pass

    def __call__(self, elements):
        f = []
        for element in elements:
            f.append(self.target([element])[0])
        return f

def my_decorator_function(target):
    @functools.wraps(target)
    def inner(elements):
        f = []
        for element in elements:
            f.append(target([element])[0])
        return f
    return inner

@my_decorator_function
def my_func(elements):
    f = []
    for element in elements:
        f.append(sum(element))
    return f

if __name__ == '__main__':
    elements = [[random.randint(0, 9) for _ in range(5)] for _ in range(10)]
    pool = multiprocessing.Pool(processes=4)
    results = [pool.apply_async(my_func, ([e],)) for e in elements]
    pool.close()
    f = [r.get()[0] for r in results]
    print(f)

解决方法:

问题是,泡菜需要有一些方法来重新组装你所腌制的所有东西.请点击此处查看可以腌制的清单：

http://docs.python.org/library/pickle.html#what-can-be-pickled-and-unpickled

在picking my_func时,需要对以下组件进行pickle：

> my_decorator_class的一个实例,名为my_func

这可以. Pickle将存储类的名称并腌制其__dict__内容. unpickling时,它使用名称来查找类,然后创建一个实例并填写__dict__内容.但是,__ dict__内容存在问题……
>存储在my_func.target中的原始my_func的实例

这不太好.它是顶层的功能,通常可以腌制. Pickle将存储该函数的名称.然而,问题是名称“my_func”不再绑定到未修饰的函数,它绑定到修饰函数.这意味着pickle将无法查找未修饰的函数来重新创建对象.可悲的是,pickle没有办法知道它试图腌制的对象总是可以在名称main.my_func下找到.

您可以像这样更改它,它将工作：

import random
import multiprocessing
import functools

class my_decorator(object):
    def __init__(self, target):
        self.target = target
        try:
            functools.update_wrapper(self, target)
        except:
            pass

    def __call__(self, candidates, args):
        f = []
        for candidate in candidates:
            f.append(self.target([candidate], args)[0])
        return f

def old_my_func(candidates, args):
    f = []
    for c in candidates:
        f.append(sum(c))
    return f

my_func = my_decorator(old_my_func)

if __name__ == '__main__':
    candidates = [[random.randint(0, 9) for _ in range(5)] for _ in range(10)]
    pool = multiprocessing.Pool(processes=4)
    results = [pool.apply_async(my_func, ([c], {})) for c in candidates]
    pool.close()
    f = [r.get()[0] for r in results]
    print(f)

您已经观察到,当类没有时,装饰器功能会起作用.我相信这是因为functools.wraps修改了修饰函数,以便它具有它包装的函数的名称和其他属性.就pickle模块而言,它与普通的*函数无法区分,因此它通过存储其名称来腌制它.在unpickling,名称绑定到装饰功能,所以一切都工作.