在把hdfs上数据迁移到hive中的表时,若出现数据位NULL,是因为没有指定列分隔符。
由于hive默认的分隔符是/u0001(Ctrl+A),为了平滑迁移,需要在创建表格时指定数据的分割符号,语法如下:
- hive (default)> create external table et (time BIGINT, userid string, content string, urlrank int, urlnum int, url string)
- > partitioned by (filenum int)
- > row format delimited fields terminated by '\t';
上面创建的是外部表,“导入”数据时可以用load,但若不想进行移动数据,就用命令alter来进行指向:
- alter table et add partition (filenum=1) location '/input/SogouQueryLog/file1';
注意location后面跟的地址必须是个目录,若不是,可以用hdfs fs -mv src dest 进行移动数据:
- hadoop fs -mv /input/SogouQueryLog/querylog_1 /input/SogouQueryLog/file1