蓄水池抽样

蓄水池抽样/水塘抽样算法

给定一个数据流,数据流长度N很大,且N直到处理完所有数据之前都不可知,请问如何在只遍历一遍数据(O(N))的情况下,能够随机选取出m个不重复的数据。**

这个场景强调了3件事:

  1. 数据流长度N很大且不可知,所以不能一次性存入内存。

  2. 时间复杂度为O(N)。

  3. 随机选取m个数,每个数被选中的概率为m/N。

蓄水池抽样算法框架

//n个样本中抽出m个样本,保证被抽到的概率一样
//蓄水池
int[] reservoir = new int[m];
//初始化蓄水池
for (int i = 0; i < reservoir.length; i++){
    reservoir[i] = dataStream[i];
}
for (int i = m; i < dataStream.length; i++){
    // 随机获得一个[0, i+1)内的随机整数
    int d = rand.nextInt(i+1);
    // 如果随机整数落在[0, m)范围内,则替换蓄水池中的元素
    if (d < m){
        reservoir[d] = dataStream[i];
    }
}
上一篇:DataStream API(一)


下一篇:5、flink常见函数使用及自定义转换函数