一。这里用的是hadoop生态的hive进行存储,首先说hive的表大致分为内部表和外部表,又分为分区表(PARQUET)和桶表。
hive文件存储格式包括以下几类:
1、TEXTFILE
2、SEQUENCEFILE
3、RCFILE
4、ORCFILE(0.11以后出现)
5、PARQUET
总结:相比TEXTFILE和SEQUENCEFILE,RCFILE由于列式存储方式,数据加载时性能消耗较大,但是具有较好的压缩比和查询响应。数据仓库的特点是一次写入、多次读取,因此,整体来看,RCFILE相比其余两种格式具有较明显的优势
注意:创建外部表需要添加 external 字段。而内部表不需要。
hive建表语句(桶表)
CREATE EXTERNAL TABLE db.table_name(
field type COMMENT '描述'
)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' stored as TEXTFILE
LOCATION '文件地址';
hive建表语句(分区表)
CREATE EXTERNAL TABLE db.table_name(
field type COMMENT '描述'
)PARTITIONED BY (dt string COMMENT "时间分区")
stored as PARQUET LOCATION '文件地址';
二。导入导出数据
利用sqoop import/export
注意:同步时需