0 配置Hadoop支持Snappy压缩

 

1）将编译后支持Snappy压缩的Hadoop jar包解压缩，并将lib/native目录中所有文件上传到hadoop102的/opt/module/hadoop-2.7.2/lib/native目录，并分发到hadoop103 hadoop104。

 

2）重新启动Hadoop。

 

3）检查支持的压缩方式

 

[atguigu@hadoop102 native]$ hadoop checknative

 

hadoop:  true /opt/module/hadoop-2.7.2/lib/native/libhadoop.so

 

zlib:    true /lib64/libz.so.1

 

snappy:  true /opt/module/hadoop-2.7.2/lib/native/libsnappy.so.1

 

lz4:     true revision:99

 

bzip2:   false

1 业务数据生成

3.1.1 建表语句

1）通过SQLyog创建数据库gmall

 

 

2）设置数据库编码

 

 

3）导入建表语句（1建表脚本）

 

 

选择->1建表脚本.sql

 

 

4）重复步骤3的导入方式，依次导入：2商品分类数据插入脚本、3函数脚本、4存储过程脚本。

 

1.2 生成业务数据

 

1）生成业务数据函数说明

 

init_data ( do_date_string VARCHAR(20) , order_incr_num INT, user_incr_num INT , sku_num INT , if_truncate BOOLEAN  )：

 

参数一：do_date_string生成数据日期

 

参数二：order_incr_num订单id个数

 

参数三：user_incr_num用户id个数

 

参数四：sku_num商品sku个数

 

参数五：if_truncate是否删除数据

 

2）案例测试：

 

（1）需求：生成日期2019年2月10日数据、订单1000个、用户200个、商品sku300个、删除原始数据。

 

CALL init_data('2019-02-10',1000,200,300,TRUE);

（2）查询生成数据结果

SELECT * from base_category1;

SELECT * from base_category2;

SELECT * from base_category3;

SELECT * from order_info;

SELECT * from order_detail;

SELECT * from sku_info;

SELECT * from user_info;

SELECT * from payment_info;