我有一个> 1M行的DataFrame.我想选择某个列包含某个子字符串的所有行：

matching = df['col2'].str.contains('substr', case=True, regex=False)
rows = df[matching].col1.drop_duplicates()

但是这个选择很慢,我想加快速度.假设我只需要前n个结果.是否有办法在获得n个结果后停止匹配？我试过了：

matching = df['col2'].str.contains('substr', case=True, regex=False).head(n)

和：

matching = df['col2'].str.contains('substr', case=True, regex=False).sample(n)

但它们并没有更快.第二个语句是布尔值,并且非常快.我如何加快第一条陈述？

解决方法:

信不信由你,但是.str访问器很慢.您可以使用具有更高性能的列表推导.

df = pd.DataFrame({'col2':np.random.choice(['substring','midstring','nostring','substrate'],100000)})

测试平等

all(df['col2'].str.contains('substr', case=True, regex=False) ==
    pd.Series(['substr' in i for i in df['col2']]))

输出：

True

时间：

%timeit df['col2'].str.contains('substr', case=True, regex=False)
10 loops, best of 3: 37.9 ms per loop

与

%timeit pd.Series(['substr' in i for i in df['col2']])
100 loops, best of 3: 19.1 ms per loop