测试debezuim+kafka+flink+kudu。
用flink-connector-kudu_2.11 连接器,写入数据至kudu。
apache/bahir-flink连接器的开源地址 https://github.com/apache/bahir-flink.
尝试使用flink sql 将数据写入kudu,使用flink sql 删除表格。
问题出现了!!
进入impala client后,发现表格仍存在,drop table后,表格消失,但是当invalidate metadata table 后,表格再次出现。
查询kudu元数据,发现表格已经消失,但是hive元数据中表格仍存在。推测,这个连接器在删除表格时,只删除kudu元数据信息,使hive与kudu的元数据链接断开
·-------------------------------------------
经多次尝试后,找到解决方案,进入mysql,更改hive元数据,将内部表改为外部表,再次删除表格。刷新后,表格不再出现。
UPDATE TBLS
SET CREATE_TIME=1626249619, DB_ID=448182, LAST_ACCESS_TIME=0, OWNER='1', OWNER_TYPE='USER', RETENTION=0, SD_ID=,1 TBL_NAME='table', TBL_TYPE='EXTERNAL_TABLE', VIEW_EXPANDED_TEXT='', VIEW_ORIGINAL_TEXT=''
WHERE TBL_ID=1;