python – 在Pandas中生成滚动窗口中的值组合

对于我的数据框中的每一行,我需要从结束于该行的三天滑动窗口创建列a的两个值的每个组合.我的数据框是这样的:

import pandas as pd    
df = pd.DataFrame({'a': [1, 2, 3, 4, 5]},
                   index=[pd.Timestamp('20180101'),
                          pd.Timestamp('20180102'),
                          pd.Timestamp('20180103'),
                          pd.Timestamp('20180105'),
                          pd.Timestamp('20180106')])

请注意,时间索引是不规则的(行之间的间隔不一致).这些组合应该是:

row0: None
row1: [(1, 2)]
row2: [(1, 2), (1, 3), (2, 3)]
row4: [(3, 4)]
row5: [(4, 5)]

我可以在没有窗口的情况下轻松完成此操作,只需使用itertools.combinations生成列a的两个元素的每个组合:

import itertools as it
combos = it.combinations(df['a'], 2)
for c in combos:
    print(c)
# (1, 2)
# (1, 3)
# (1, 4)
# (1, 5)
# etc.

但我需要我的应用程序的窗口版本.到目前为止,我最好的选择是使用df.rolling.我可以做一些简单的事情,例如在三天的窗口中对元素进行求和,例如:

df.rolling('3d').sum()
# get [1, 3, 6, 7, 9] which we expect

但我似乎无法在滚动窗口上执行更复杂的操作(或返回比操作中的实数更复杂的类型).

如何使用df.rolling在滚动窗口上进行组合?或者还有其他工具可以做到这一点吗?

尝试

到目前为止我的想法是有一些方法可以使用df.rolling和df.apply以及it.combinations为我的数据帧中的每个窗口生成迭代器,然后将迭代器插入我的数据帧的新列.就像是:

df.rolling('3d').apply(lambda x: it.combinations(x, 2))

它给出了一个TypeError:

TypeError: must be real number, not itertools.combinations

因为df.rolling.apply要求其参数返回单个实数值,而不是对象,也不是列表.

我也尝试直接在滚动窗口上使用it.combinations:

it.combinations(df.rolling('3d'), 2)

这使:

KeyError: ‘Column not found: 0’

如果我明确选择列a:

it.combinations(df.rolling('3d')['a'], 2)

我明白了:

Exception: Column(s) a already selected

那么有没有办法定义一个我可以用df.apply调用的函数,它将我的滚动窗口上的迭代器插入到我的数据帧的每一行的新列中?我是否可以在传递给函数的函数中的当前行以外的行上操作?

解决方法:

好的,这是一个黑客,但它可能是有用的.

我们要做的就是重用df.rolling的窗口设施.我们可以尝试查看代码中的一些非公共部分,但是我们可以利用在返回float之前强制执行函数调用的事实:

In [28]: dummy = df.rolling("3d")["a"].apply((lambda x: print(x) or 0), raw=False)
2018-01-01    1.0
dtype: float64
2018-01-01    1.0
2018-01-02    2.0
dtype: float64
2018-01-01    1.0
2018-01-02    2.0
2018-01-03    3.0
dtype: float64
2018-01-03    3.0
2018-01-05    4.0
dtype: float64
2018-01-05    4.0
2018-01-06    5.0
dtype: float64

所以:

In [29]: roll_slices = []

In [30]: dummy = df.rolling("3d")["a"].apply((lambda x: roll_slices.append(list(combinations(x, 2))) or 0), raw=False)

In [31]: roll_slices
Out[31]: 
[[],
 [(1.0, 2.0)],
 [(1.0, 2.0), (1.0, 3.0), (2.0, 3.0)],
 [(3.0, 4.0)],
 [(4.0, 5.0)]]

之后你可以做你喜欢的事.

上一篇:如何在python中切片进程itertools.product?


下一篇:从列表中删除类似项目的pythonic方法