外部排序

---

Conception

算法过程

外部排序

  • 首先将块读入内存
  • 接下来构造初始“归并段”,通过内部排序使两个(这取决于生成初始归并段的内存工作区大小)内关键字有序

外部排序

外部排序

  • 然后是不断的内部归并,直至排序完毕

    • 第一趟归并(8个初始归并段 → 4个归并段)

      外部排序

      外部排序

    • 第二趟归并(4段 → 2段)

      外部排序

    • 第三趟归并 (2段 → 1段,排序结束)

      外部排序

开销分析

外部排序

根据上式,不难想到从减少归并趟数入手来优化算法执行效率

例如,使用4路归并

外部排序

第一趟结束后就可以将整个序列分为两个大的归并段:

外部排序

这时只需在进行一次2路归并就完成了排序,归并趟数减到了两次

外部排序

从上面的逻辑树还可以看出,减少初始归并段个数r也能减少归并趟数:

外部排序

小结

外部排序

tips:关于多路归并与多路平衡归并的概念辨析

外部排序

败者树

”k路平衡归并的问题是随着k增加,每次归并时从k个元素中选取最小元素的比较次数(k-1)也会增加 “

外部排序

什么是败者树?

外部排序

败者树在多路平衡归并中的应用

外部排序

只不过这里的分支结点并不记录关键字的值,而是记录其所属归并段:

外部排序

当冠军产生后,其所属归并段的下一个元素(6)将加入进来,这时就可以利用之前生成的败者树信息减少比较次数

外部排序

实现思路

叶子结点实际上是虚拟的,k路归并的败者树可以用一个长k的数组表示

外部排序

小结

外部排序

外部排序

置换-选择排序

”增大初始归并段长度(减少初始归并段个数)“

在下面这个用例中,如果按照之前说的”老办法“操作,假设WA只能存放三个记录,那么每个初始归并段也只能有3个记录,对应会产生8个初始归并段

外部排序

使用置换-选择排序可以产生更少的初始归并段

  • 按顺序从FI中读元素放入WA至WA装满
  • 将WA中最小的元素输出到FO,同时用MINIMAX记录该值表示归并段1中此时的最大值
  • 如果WA中的最小值比归并段1中此刻的最大值MINIMAX大,显然不能将其输出到FO中(可以认为其被“锁定”),这时选择次小值,以此类推
  • 重复上述步骤直至WA中所有元素被“锁定”,这时便完成了一个归并段的划分,如下例归并段1长10
  • 将WA“解锁”,进行下一个归并段的划分

外部排序

置换-选择排序的结果如下,显然归并段的个数r得以减少

外部排序

小结

外部排序

最佳归并树

外部排序

外部排序

因此,要使磁盘的I/O次数减少 → 使归并树的WPL最小哈夫曼树

以初始归并段作为叶子节点,按照构造哈夫曼树的方法(每次取权值最小的两个结点)可以得到如下结果:

外部排序

k路归并的思路也类似,每次选取k个最小的结点“连接”:

外部排序

如果初始归并段的个数不足以构造严格的k叉哈夫曼树,则需要增设权值为0的“虚结点”

外部排序

得到结果如下:

外部排序

“如何知道需要添加几个虚段?”

外部排序

小结

外部排序

外部排序

2021/7/3

上一篇:1000个账号两百万粉丝,做WhatsApp海外私域,这件事还可以更燃


下一篇:关于二分的正确姿势