我有一个对象列表,其数量介于数千和数千之间.成千上万.这些对象可以被认为是我想要根据他们的分数排名的人.

首先,他们按年龄,性别等分成小组.在每个点,提供与该年龄/性别类别相对应的排名.对象上的字段是age_group和gender.因此,您首先会收集所有拥有30-39岁年龄组的人,然后收集所有年龄组的男性(M)和所有女性(W).

在每个点上创建一个新列表是非常耗费内存的,所以我试图使用一个发生器和放大器. itertools使用原始列表进行分组.所以我有一个功能来做到这一点;

def group_standings(_standings, field):
    """ sort list of standings by a given field """
    getter = operator.attrgetter(field)
    for k, g in itertools.groupby(_standings, getter):
        yield list(g)


def calculate_positions(standings):
    """
    sort standings by age_group then gender & set position based on point value 
    """
    for age_group in group_standings(standings, 'age_group'):

        for gender_group in group_standings(age_group, 'gender'):

            set_positions(
                standings=gender_group,
                point_field='points',
                position_field='position',
            )

要使set_positions正常运行,它需要整个组,以便它可以按point_field值排序,然后设置position_field值.

调试生成器,groupby没有按照我的预期收集与键匹配的所有对象.输出是这样的;

DEBUG generating k 30-39
DEBUG generating g [<Standing object at 0x7fc86fedbe10>, <Standing object at 0x7fc86fedbe50>, <Standing object at 0x7fc86fedbe90>]

DEBUG generating k 20-29
DEBUG generating g [<Standing object at 0x7fc86fedbed0>]

DEBUG generating k 30-39
DEBUG generating g [<Standing object at 0x7fc86fedbf10>]

DEBUG generating k 20-29
DEBUG generating g [<Standing object at 0x7fc86fedbf50>, <Standing object at 0x7fc86fedbf90>, <Standing object at 0x7fc86fedbfd0>, <Standing object at 0x7fc856ecc050>, <Standing object at 0x7fc856ecc090>, <Standing object at 0x7fc856ecc0d0>, <Standing object at 0x7fc856ecc110>, <Standing object at 0x7fc856ecc150>, <Standing object at 0x7fc856ecc190>, <Standing object at 0x7fc856ecc1d0>]

要确认,要使set_positions起作用,生成器提供的列表将需要包含20-29岁年龄组中的所有对象,但如上所述,在列表的多次迭代中找到该组中的对象.

解决方法:

这是因为groupby函数假定输入iterable已经按键排序(参见documentation).它是为性能而制造的,但令人困惑.
另外,我不会将g转换为group_standings函数中的列表,但仅在将gender_group传递给set_positions时才应用它.