Toast 部分记录丢失问题处理

在日常数据库运维过程中,我们可能会遇到类似以下的错误:

test=# create table t2_text as select * from t1_text;
ERROR:  unexpected chunk size -4 (expected 1996) in chunk 0 of 4 for toast value 61962 in pg_toast_61919

 该错误信息是由于部分tuple的 toast 字段丢失,导致数据无法访问。需要通过游标方式,将可以访问的数据备份出来。

注意:设置 zero_damaged_pages = on 无法解决该问题。

一、R6 处理逻辑

以下例子模拟 t1_text表部分tuple 的 text 字段出现损坏,需要通过游标将数据从 t1_text 迁移至 t2_text 。游标如下: 

create table ctid_done_tmp123(rid tid,result varchar(9));
create table t2_text as select * from t1_text where 1=2;

create or replace procedure process_error_ctid as 
  v_tid tid;
  cursor cur_t1_text is select ctid from t1_text where ctid not in (select rid from ctid_done_tmp123);
begin
  open cur_t1_text;
  loop
    fetch cur_t1_text into v_tid;
    exit when cur_t1_text%NOTFOUND;
    begin
      insert into t2_text select * from t1_text where ctid=v_tid;
      insert into ctid_done_tmp123 values(v_tid,SUCCESS);
    exception
      when others then
        insert into ctid_done_tmp123 values(v_tid,ERROR);
        commit;
        exit;
    end;
  end loop;
end;
/

declare
  v_oldcnt integer;
  v_newcnt integer;
begin
  select count(*) into v_oldcnt from ctid_done_tmp123;
  v_newcnt := 0;
  while (true) loop
    call process_error_ctid();
    select count(*) into v_newcnt from ctid_done_tmp123;
    if v_oldcnt = v_newcnt then
      exit;
    end if;
  end loop;
end;

 注意:以上的例子通过不停的调用函数process_error_ctid来实现,这是由于我们当前的游标不支持跨事务,后续可以修改该脚本。

这里有几个问题需要注意:

  1. 需要设置 ora_statement_level_rollback = on。PG 过程块默认在进入 exception 之前,会将之前的所有操作 rollback,因此,即使在exception 处理时,将事务 commit,实际也没任何意义。对于 Oracle ,如果用户有捕获异常,可以选择将对异常之前的数据commit or rollback。KINGBASE  ora_statement_level_rollback  参数的作用就是:如果 ora_statement_level_rollback = on,在遇到异常后,只是回退引发异常的操作,而之前的事务操作可以选择commit or rollback。
  2. 对于oracle,过程块中间可以commit or rollback ,而cursor 不会被close;KINGBASE 当前的游标还不允许跨事务,也就是说,如果事务commit,或者碰到异常,事务就结束,游标也会被关闭,比如以上的例子就会报 “cursor "cur_t1_text" does not exist” 错误。这点 KINGBASE 还在开发当中,后续会支持。
  3. 以上脚本只能在V8R6上执行,这是由于参数ora_statement_level_rollback 只有R6有。如果需要在R3上运行,需要修改下逻辑

二、R3 处理逻辑

R3 版本在遇到异常时,事务操作都被回退,因此,只能取到 Error 记录的 ctid。 由于需要重复执行,效率不高。

create table ctid_done_tmp123(rid tid,result varchar(9));
create table t2_text as select * from t1_text where 1=2;

create or replace procedure process_error_ctid as 
  v_tid tid;
  v_name text;
  cursor cur_t1_text is select ctid from t1_text where ctid not in (select rid from ctid_done_tmp123);
begin
  open cur_t1_text;
  loop
    fetch cur_t1_text into v_tid;
    exit when cur_t1_text%NOTFOUND;
    begin
      select name into v_name from t1_text where ctid=v_tid;            --只需访问lob 字段
    exception
      when others then
        insert into ctid_done_tmp123 values(v_tid,ERROR);
        commit;
        exit;
    end;
  end loop;
end;
/

declare
  v_oldcnt integer;
  v_newcnt integer;
begin
  select count(*) into v_oldcnt from ctid_done_tmp123;
  v_newcnt := 0;
  while (true) loop
    call process_error_ctid();
    select count(*) into v_newcnt from ctid_done_tmp123;
    if v_oldcnt = v_newcnt then
      exit;
    end if;
  end loop;
end;
/

insert into t2_text select * from t1_text where ctid not in (select rid from ctid_done_tmp123);

 

Toast 部分记录丢失问题处理

上一篇:2012 Multi-University Training Contest 9 / hdu4389


下一篇:C# - 系统类 - DateTime类