对于我的数据框中的每一行,我需要从结束于该行的三天滑动窗口创建列a的两个值的每个组合.我的数据框是这样的:
import pandas as pd
df = pd.DataFrame({'a': [1, 2, 3, 4, 5]},
index=[pd.Timestamp('20180101'),
pd.Timestamp('20180102'),
pd.Timestamp('20180103'),
pd.Timestamp('20180105'),
pd.Timestamp('20180106')])
请注意,时间索引是不规则的(行之间的间隔不一致).这些组合应该是:
row0: None
row1: [(1, 2)]
row2: [(1, 2), (1, 3), (2, 3)]
row4: [(3, 4)]
row5: [(4, 5)]
我可以在没有窗口的情况下轻松完成此操作,只需使用itertools.combinations
生成列a的两个元素的每个组合:
import itertools as it
combos = it.combinations(df['a'], 2)
for c in combos:
print(c)
# (1, 2)
# (1, 3)
# (1, 4)
# (1, 5)
# etc.
但我需要我的应用程序的窗口版本.到目前为止,我最好的选择是使用df.rolling
.我可以做一些简单的事情,例如在三天的窗口中对元素进行求和,例如:
df.rolling('3d').sum()
# get [1, 3, 6, 7, 9] which we expect
但我似乎无法在滚动窗口上执行更复杂的操作(或返回比操作中的实数更复杂的类型).
题
如何使用df.rolling在滚动窗口上进行组合?或者还有其他工具可以做到这一点吗?
尝试
到目前为止我的想法是有一些方法可以使用df.rolling和df.apply以及it.combinations为我的数据帧中的每个窗口生成迭代器,然后将迭代器插入我的数据帧的新列.就像是:
df.rolling('3d').apply(lambda x: it.combinations(x, 2))
它给出了一个TypeError:
TypeError: must be real number, not itertools.combinations
因为df.rolling.apply
要求其参数返回单个实数值,而不是对象,也不是列表.
我也尝试直接在滚动窗口上使用it.combinations:
it.combinations(df.rolling('3d'), 2)
这使:
KeyError: ‘Column not found: 0’
如果我明确选择列a:
it.combinations(df.rolling('3d')['a'], 2)
我明白了:
Exception: Column(s) a already selected
那么有没有办法定义一个我可以用df.apply调用的函数,它将我的滚动窗口上的迭代器插入到我的数据帧的每一行的新列中?我是否可以在传递给函数的函数中的当前行以外的行上操作?
解决方法:
好的,这是一个黑客,但它可能是有用的.
我们要做的就是重用df.rolling的窗口设施.我们可以尝试查看代码中的一些非公共部分,但是我们可以利用在返回float之前强制执行函数调用的事实:
In [28]: dummy = df.rolling("3d")["a"].apply((lambda x: print(x) or 0), raw=False)
2018-01-01 1.0
dtype: float64
2018-01-01 1.0
2018-01-02 2.0
dtype: float64
2018-01-01 1.0
2018-01-02 2.0
2018-01-03 3.0
dtype: float64
2018-01-03 3.0
2018-01-05 4.0
dtype: float64
2018-01-05 4.0
2018-01-06 5.0
dtype: float64
所以:
In [29]: roll_slices = []
In [30]: dummy = df.rolling("3d")["a"].apply((lambda x: roll_slices.append(list(combinations(x, 2))) or 0), raw=False)
In [31]: roll_slices
Out[31]:
[[],
[(1.0, 2.0)],
[(1.0, 2.0), (1.0, 3.0), (2.0, 3.0)],
[(3.0, 4.0)],
[(4.0, 5.0)]]
之后你可以做你喜欢的事.