这篇博文不足之处较多,重新整理了一下,链接:http://www.cnblogs.com/fangpei/p/3890873.html
我阅读的代码的linux内核版本是2.6.32.61。刚进实验室什么都不懂,处于摸索阶段,近期的任务就是阅读raid1的源码。第一次接触raid相关的东西,网上分析源码的资料又比较少,不详细。逐行阅读代码,做了笔记。如果要对raid1的读流程有个整体上的把握,需要将笔记中的主线提炼出来,这里不写了。理解不足或者有误之处,希望批评指正。
读流程主要涉及以下函数:
请求函数make_request
读请求封装成bio后,由md设备的md_make_request下发请求,md又发给具体的设备raid1,对应raid1的make_request函数,下面将从raid1的make_request开始理解该部分的流程。
1. 如果访问要求设置barrier,而设备不支持设置barrier,则结束bio,立即返回。
2. 等待设备上的barrier消除。
注:当md收到一个barrier bio请求时,md会先把在该barrier bio之前到达的bio完成,然后再完成barrier bio,之后再处理在barrier bio之后到达的bio。barrier是通过conf->barrier来完成设置。
这儿的barrier是上一个请求设置的barrier,也就是等待上一个请求处理“结束”,注意此时的“结束”不一定是上一个请求真的完全结束,而有可能设置了behind write模式,在写完除了非WriteMostly,则通知r1_bio的state为UpToDate(有效的,可以进行后面的请求处理)。
同步一定会设置barrier,代码中有raise_barrier(conf);该障碍在同步结束后end_sync_write中调用put_buf操作conf->barrier来清除。写请求由用户请求本身决定是否设置barrier。
3. 申请一个r1_bio结构(该结构主要用于管理raid1的bio),该结构中有一个数组bios数组指向对应各磁盘的bio。
4. 调用read_balance算法,获取读目标的盘号rdisk。(具体分析见下一节)
5. 如果获取的盘号为错误盘号(即-1),表示目前不能获取读目标,那么结束这个bio(调用raid_end_bio_io(r1_bio)),返回。
6. 通过盘号rdisk和指针数组首地址conf->mirrors得到读目标的mirror_info结构指针mirror。
7. 通过mirror->rdev->flags可以知道该磁盘是否设置了WriteMostly属性。如果设置了WriteMostly,则通过bitmap可以知道是否仍然还有延迟写。如果延迟写还没结束,那么等待延迟写结束。其他的情况都不处理,直接往下走。
8. 将读目标盘号赋值给r1_bio->read_disk。
9. 将接受到的上层bio(读请求)复制一份,指针read_bio和r1_bio->bios[rdisk]都指向该bio。
10.设置该read_bio的相关属性,使得符合r1_bio结构的要求,比如读写属性,盘阵上哪个盘,盘的扇区,从而让它能正确下发到下层,最终找到相应的读目标盘;也设置了结束请求函数raid1_end_read_request。
11. 下发read_bio。
读均衡read_balance
这个算法是用来做读均衡的,在raid1中涉及到的读操作均会使用到该算法。入口参数为raid1的私有数据结构*conf和raid1管理bio的结构*r1_bio,具体流程分析如下:
1. 如果盘阵正在进行同步操作,并且访问落在同步窗口中,按照下面的子流程选出盘号。则进入下面的步骤2来处理,否则进入步骤3。
注:conf->mddev->recovery_cp < MaxSector,表示盘阵正在同步。代码中MaxSector的值为扇区数量的上限,而conf->mddev->recovery_cp表示正在进行同步的扇区号,所以自然就约定没有进行同步的时候conf->mddev->recovery_cp = MaxSector。
扇区号加扇区数等于最后一个要读的扇区+1,如果大于等于下一个要同步的扇区,则说明落在同步窗口之中。
1.1 从last_used的磁盘开始,循环遍历盘阵中每个盘(2个盘),选出第一个正确的盘。
1.1.1 如果盘之前读失败(IO_BLOCKED)(在所有磁盘,都不能读的时候。由于之前为读写状态,所以可能因为写或者同步的原因造成的阻塞),或者盘不存在(之前为只读,但是还是读失败了),或者可能需要同步(In_sync=0),或者是WriteMostly盘,则继续循环。
1.1.2 如果是WriteMostly盘,则记录下wonly为该盘号。
1.1.3 如果所有盘遍历完(其实就是第2块盘)还是没有跳出循环,那么只好将WriteMostly盘的盘号选择出来(如果有的话),或者选出一个错误盘号(wonly的初始值-1)。跳出循环。
1.2 如果选出的是一个错误盘号,那么直接出错返回。
1.3 如果选出的盘号是正确的,那么继续下面的流程。
(选出的盘号记录在new_disk中)
2. 如果选出盘new_disk的磁头位置正好位于本次操作的起点,那么就直接确定为盘号new_disk。分别有如下两种情况:
2.1 一种是上次读均衡算法结束之后就更新了conf->next_seq_sect。
2.2 一种是上次成功读写(包括同步读写)完成后,通过pdate_head_pos来更新了conf->mirrors[new_disk]. head_position。
3. 如果选出盘new_disk的磁头和本次操作的起点不一样。disk作为循环控制的磁盘号,new_disk作为返回的磁盘号。
3.1 首先将disk--,变成其他盘号,与上次读的盘号不同。(我觉得这里体现均衡)
3.2 如果盘之前读失败(IO_BLOCKED)(在所有磁盘,都不能读的时候。由于之前为读写状态,所以可能因为写或者同步的原因造成的阻塞),或者盘不存在(之前为只读,但是还是读失败了),或者可能需要同步(In_sync=0),或者是WriteMostly盘,则继续循环。
3.3 如果磁盘上无等待的操作,那么确定为该磁盘盘号,跳出循环。
3.4 如果所有磁盘都有等待操作,那么找到当前磁头位置和本次操作位置最为接近的磁盘盘号。(通过current_distance 和new_distance来控制,current_distance是到目前为止最近的距离,new_distance是最新加入的一个最近距离)
4. 如果选出盘rdev不存在,那么重新执行read_balance算法。
5. 递增选出盘rdev的下发IO计数。
6. 如果到了这一步发现该盘的rdev->flags的设置In_sync(该盘可能需要同步),递减选出盘rdev的下发IO计数,那么重新执行read_balance算法。
7. 设置新的conf->next_seq_sect(下一个顺序读扇区),新的conf->last_used(最近一次使用的磁盘盘号)
8. 返回选出的磁盘号,即为读均衡磁盘。
回调函数raid1_end_read_request
- 如果bio的状态为有效(BIO_UPTODATE),那么设置uptodate为1。
- 调用update_head_pos(mirror, r1_bio)更新当前盘的磁头位置。
- 如果bio的状态为有效,设置r1_bio的状态也为有效(R1BIO_Uptodate),并调用raid_end_bio_io结束这个bio。
- 如果bio的状态不是有效,并且所有盘都处于降级状态,或者只有一个盘处于正常状态但是该盘出错,那么设uptodate为1(这里不是表示状态为有效,而是表示不用retry了),然后调用raid_end_bio_io结束这个bio。
- 其他情况则表示读出错了。并将r1_bio放入retry队列,转由守护进程处理。通过reschedule_retry(r1_bio)调用wake_up(&conf->wait_barrier)。
- 递减选出盘rdev的下发IO计数。
读出错处理raid1d
raid1d是守护进程,很多情况都会切换到该进程,而该进程描述了这些不同种情况下的处理流程。先处理激活同步守护进程,再提交pending_bio_list的所有请求,再一个一个的提交retry_list的r1_bio。判断r1_bio->state,如果是R1BIO_IsSync,则转入同步写流程;如果是R1BIO_BarrierRetry,这个情况只发生在写操作,则转入处理barrier的流程;如果是其他情况,则是读出错,进入读失败处理流程。下面分析读出错的处理流程。
- 如果md是读写状态。
1.1 冻结盘阵。调用freeze_array(conf)实现。
1.1.1 通过barrier计数挡住所有新的I/O。
1.1.2 把触发freeze_array的I/O(即失败的readI/O)加到wait计数。
1.1.3 等待所有已经进入raid1层的I/O完成。
这里等待的事件是“所有已进入raid1的readI/O挂入retry表,所有已进入raid1的writeI/O完成写动作。”
1.2 尝试修复读出错。调用fix_read_error()实现。
1.3 解冻盘阵。调用unfreeze_array(conf)实现。
2. 如果md是只读状态,那么失效(md_error)读目标盘。
3. 重新调用读均衡算法,得到一个盘号disk。
4. 如果返回的盘号仍然为负值,那么表示无法恢复读出错,调用raid_end_bio_io结束这个bio。
5. 如果返回盘号为正常值,那么根据是否只读,设置原读出错的盘指针为IO_BLOCKED或者NULL。
6. 设置r1_bio->read_disk为新的读目标盘号disk。
7. Put掉原bio,bio_put(bio)。
8. 将master_bio复制一份给bio,并用r1_bio->bios[r1_bio->read_disk指向该bio。
9. 设置该bio,并将回调函数设置为raid1_end_read_request,下发该bio。
10. cond_resched()如果有进程要抢占,则切换进程;如果不是,则继续循环。
尝试修复读出错fix_read_error
- 大循环,判断条件为sectors不为0,进入循环。
- 将需要处理的扇区数sectors复制给变量s,将读目标盘号read_disk赋值给d。
- 控制s的大小在 PAGE_SIZE>>9 以内。
- 从read_disk开始遍历盘阵中的每个盘。找到一个可以读这次page的盘,记录盘号为d,并读出来置于conf->tmppage中,跳出循环;或者没有可以读的盘,跳出循环。
- 如果没有可以读的盘,那么失效(md_error)原读目标盘,退出大循环,返回。
- 从步骤4中选出d号盘,往回遍历,直到read_disk。将conf->tmppage依次写入这些盘中。如果某次磁盘写入错误,那么失效(md_error)该次写入的磁盘。
- 从步骤4中选出d号盘,往回遍历,直到read_disk。将conf->tmppage依次从这些盘中读出。
7.1 如果某次磁盘写入错误,那么失效(md_error)该次写入的磁盘。
7.2 如果某次磁盘写入正确,那么该次磁磁盘对该大循环对应的page修复成功。
8. 判断条件sectors = sectors – s,每次循环的sync_page_io起点标记sect = sect+1。进入下一个循环。
raid1还有写流程和同步流程,以后再记录下来。努力让自己尽快入门,加油!