Linux UBI子系统设计初探

问题领域

flash存储设备存在如下特点:

  • 存在坏块
  • 使用寿命较短
  • 存储介质不稳定
  • 读写速度慢
  • 不支持随机访问(nand)
  • 只能通过擦除将0改成1
  • 最小读写单位为page or sub-page
  • 便宜

针对flash设备的特点,flash文件系统的核心功能需求和质量需求需包括如下这几个方面:

  • 读写
  • 性能
  • 可靠性
  • 持久性

针对这些需求,可分析得出flash文件系统需要满足如下属性要求:

  • 数据保护
  • 坏块管理
  • 垃圾回收
  • 磨损均衡
  • 分区管理
  • 文件管理
  • 性能优化

在ubifs文件系统中,这7条属性中的数据保护、坏块管理、垃圾回收、磨损均衡、分区管理等需求由ubi子系统实现,也是此次分析的重点。

架构模型

ubi是ubifs的一个子系统,其位于MTD之上,ubifs之下,如图所示。

Linux UBI子系统设计初探

ubi子系统内部又细分多个模块(如下),每个模块后面逐个展开介绍。

Linux UBI子系统设计初探

其设计架构如下:

Linux UBI子系统设计初探

为了管理架构栈中的各个子系统,ubi在用户态导出多个控制接口,以便于对模型进行控制管理。
/dev/mtd0:
  mtd对象,对mtd设备操作的实体
/dev/ubi_ctrl:
  ubi控制对象,用于ubi与mtd的映射与解映射(attach and detach)
/dev/ubi0:
  ubi 抽象层对象,对ubi操作的实体
/dev/ubi0_0:
  ubi volume对象,对ubi volume操作的实体

UBI数据模型

数据是建模和设计的核心,UBI有2个顶层数据对象:ubi_attach_info和ubi_volume_desc。其数据关系模型如下:

Linux UBI子系统设计初探

Linux UBI子系统设计初探

UBI数据持久化设计

因为磨损均衡、逻辑块管理、分卷管理等需要,ubi自身支持这些功能的元数据需要持久化存储,如:块擦除次数、LEB/PEB映射、volume/LEB映射、分卷表、fastmap等数据,具体的数据结构有:

OOB
ubi_ec_hdr - UBI erase counter header
ubi_vid_hdr - on-flash UBI volume identifier header
ubi_vtbl_record - a record in the volume table.
ubi_fm_sb - UBI fastmap super block
ubi_fm_hdr - header of the fastmap data set
ubi_fm_scan_pool - Fastmap pool PEBs to be scanned while attaching
ubi_fm_ec - stores the erase counter of a PEB
ubi_fm_volhdr - Fastmap volume header
ubi_fm_eba - denotes an association beween a PEB and LEB

其中ubi_ec_hdr、ubi_vid_hdr、ubi_vtbl_record、OOB的数据结构定义、存储位置和数据示例如下:

ubi_ec_hdr,存放在每个PEB(1MB)的page 0,每个page(8K)一段OOB(0x1C0);

ubi_vid_hdr,对于已分配到volume中的PEB,vid hdr存放在PEB page 1(8K) or page 0 sub-page 1(2K);

ubi_vtbl_record,作为UBI_LAYOUT_VOLUME_ID的数据,LEB0,LEB1相互备份,从PEB的page 2 开始存放。

Linux UBI子系统设计初探

每个PEB块有个OOB区,OOB前面几个字节是坏块标记(橙色标示),尾部一段字节为ECC数据(绿色标示),如果中间有多余字节,则闲置不用(黄色标示)。各段的大小依赖于页格式、ecc位数、各flash厂商定义的坏块标记形式而定。

Linux UBI子系统设计初探

UBI attaching子系统

attaching子系统的核心任务就是创建并初始化ubi设备,其核心数据是ubi_attch_info对象,对照上一节的数据模型,这个过程包括创建ubi_ainf_volume对象;扫描所有PEB的ec header和vid header,读取OOB区坏块标记,统计坏块个数,初始化ai->bad_peb_count;如果attaching时PEB的ec header为无效值,此时会有平均的ec值初始化其ec header;如果发现2个PEB具有相同的lnum,选用seqnum大的PEB,seqnum小的PEB放入 ai->erase链表。

校验每个块的ec header、vid header和data,并对其错误类型进行分类,对可纠正的错误,放入ai->erase表,对于无法纠正的错误,放入ai->corr或ai->alien表;对于没有错误的块,放入ai->free表。具体分类规则请参照下表。

错误类型:

  • UBI_IO_FF: 全0xFF;
  • UBI_IO_FF_BITFLIPS: 全0xFF,但是有可纠正的ECC错误;
  • UBI_IO_BAD_HDR: EC或VID头损坏(如magic number错误或者CRC错误)
  • UBI_IO_BAD_HDR_EBADMSG: 由不可纠正的ECC错误导致的EC或VID头损坏
  • UBI_IO_BITFLIPS: 有可纠正的ECC错误;

PEB分类:

  • free:正常块;
  • erase:擦除块,需要进行擦除;
  • corr:损坏块,不再参与磨损均衡;
  • alien:异常块,不再参与磨损均衡;
  • scrub:擦洗块,数据搬移到正常快上,并对其进行擦除,确认没有问题;
  • torture:拷问块,数据搬移到正常快上,并对其反复多次读写擦除,确认没有问题;

Linux UBI子系统设计初探

UBI EBA子系统

EBA子系统主要提供如下功能:

  • LEB/PEB的映射表管理:上层只看到LEB,不再关心块的读写错误处理、替换等细节;
  • LEB的sequence counter管理:seq counter主要是为了标记顺序,解决LEB/PEB的映射冲突;
  • LEB访问接口封装:如read, write, copy, check, unmap, atomic change等;
  • LEB访问保护:每一个LEB的并发访问都由读写信号量锁rwsem进行保护;

EBA提供了2种写方式:ubi_eba_write_leb和ubi_eba_atomic_leb_change。ubi_eba_write_leb用于对块的write,ubi_eba_atomic_leb_change用于对块的modify或者append。ubi_eba_write_leb写后会做读校验,如果有-EIO错误,将老PEB上的数据移动到新的PEB上,并将新数据也写到新的PEB中,对老PEB进行torture。ubi_eba_atomic_leb_change为了避免破坏已有数据,采用异地更新的方式来实现原子写,并加一个ubi->alc_mutex来进行串行化保护,其具体流程如下:

  1. 读取leb数据(ubifs内完成)
  2. 检查写数据长度是否为0,为0时,unmap leb
  3. 分配初始化vid_hdr
  4. 分配新的peb(ubi_wl_get_peb)
  5. 新peb中写入vid_hdr
  6. 新peb中写入老leb数据+新增数据
  7. 回收老的peb(ubi_wl_put_peb)
  8. 更新leb map(vol->eba_tbl)

UBI wear-leveling子系统

磨损均衡是UBI的核心功能之一,负责管理PEB的分配、回收、擦除、scrub、磨损均衡等。其中scrub、擦除, 磨损均衡功能由UBI后台线程进行异步调度管理。
UBI磨损均衡基于PEB的擦除次数实现,采用静态磨损均衡策略。对于静态磨损均衡,建立在如下假设上:擦除次数(ec)少的PEB比擦除次数多的PEB稳定,将ec大的PEB数据交换到ec小的PEB上,达到磨损均衡的目的。

PEB的分配、回收、擦除、scrub都会触发磨损均衡检查。为了避免频繁磨损均衡,进一步加重磨损情况,磨损均衡的触发频率通过UBI_WL_THRESHOLD控制,UBI_WL_THRESHOLD值不宜太小。但这种策略也存在一些问题,为了避免极端情况下对某些特定块反复擦除,通过磨损均衡_FREE_MAX_DIFF (2*UBI_WL_THRESHOLD)来控制挑选最坏的free PEB范围。

根据attaching时的PEB分类,磨损均衡模块初始化时,启动对erase块的擦除,对torture块的拷问,构建磨损均衡块红黑树,scrub红黑树等。PEB的分配通过ubi_wl_get_peb接口实现,分配具有平均擦除次数的free PEB。PEB的回收通过ubi_wl_put_peb接口实现,回收后调度erase_worker擦除。

UBI IO子系统

IO子系统主要为上层模块提供统一的读写接口,这主要包含:

PEB读写接口的统一封装,包括mtd read/write 封装;参数检查;读写检查(read io check, write verify check), 通过ubi->dbg.chk_io控制,默认没有使能。
ubi ec/vid hdr的读写接口的统一封装,包括有效性验证;支持非对齐存储;支持vid存于sub-page。

UBI fastmap子系统

缩短ubi初始化(attach)时间,使attach时间复杂度是个常数,不随PEB个数成线性增长。(Experimental feature,产品中暂未使能,未研究)

参考资料

Linux kernel 3.14-rc6 source code
http://en.wikipedia.org/wiki/Wear_leveling
www.linux-mtd.infradead.org

--EOF--

上一篇:Redis基础学习(二)—数据类型


下一篇:POJ 2342 Anniversary party / HDU 1520 Anniversary party / URAL 1039 Anniversary party(树型动态规划)