加载用户数据至用户维度表,加载商店数据至商店维度表

一、加载用户数据至用户维度表

1.打开Kettle工具,创建转换:

使用Kettle工具,创建一个转换load_dim_customer,并添加表输入控件、映射控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线,具体如图所示。

加载用户数据至用户维度表,加载商店数据至商店维度表

2、配置表输入控件:

在SQL框中编写用于获取字段customer_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_customer_last_update;单击“预览”按钮,查看临时字段max_dim_customer_last_update是否将默认值设置为“1970-01-01 00:00:00”,如图所示:

加载用户数据至用户维度表,加载商店数据至商店维度表

3、配置表输入2控件:

在SQL框中编写SQL语句,用于获取数据库sakila中数据表customer中的最新数据,如图所示:

加载用户数据至用户维度表,加载商店数据至商店维度表

4.打开Kettle工具,新建转换,如图所示:

加载用户数据至用户维度表,加载商店数据至商店维度表5.配置映射输入规范控件 :

加载用户数据至用户维度表,加载商店数据至商店维度表 

6.配置数据库查询控件:

加载用户数据至用户维度表,加载商店数据至商店维度表

7.配置数据库查询2控件:

加载用户数据至用户维度表,加载商店数据至商店维度表 

8.配置数据库查询3控件:

加载用户数据至用户维度表,加载商店数据至商店维度表

9.配置过滤记录控件:

加载用户数据至用户维度表,加载商店数据至商店维度表 10.配置JavaScript代码控件:

加载用户数据至用户维度表,加载商店数据至商店维度表

11.配置字段选择控件

双击“字段选择”控件,进入“选择/改名值”界面,在“元数据”选项卡的“移除”处添加要移除的字段,如图所示。

加载用户数据至用户维度表,加载商店数据至商店维度表

12.配置映射控件

双击“映射”控件,进入“映射”界面,单击“转换”选项卡处的【Browser】按钮,选择添加转换fetch_address,用于获取用户的地址信息,如图所示。

加载用户数据至用户维度表,加载商店数据至商店维度表

13.配置字段选择控件:

加载用户数据至用户维度表,加载商店数据至商店维度表 14.配置值映射控件      :

加载用户数据至用户维度表,加载商店数据至商店维度表

15.配置维度查询/更新控件:

加载用户数据至用户维度表,加载商店数据至商店维度表 

16.运行load_dim_customer转换:

加载用户数据至用户维度表,加载商店数据至商店维度表

17.查看数据表dim_customer中的数据:

加载用户数据至用户维度表,加载商店数据至商店维度表二、加载商店数据至商店维度表

1.打开Kettle工具,创建转换:

加载用户数据至用户维度表,加载商店数据至商店维度表

2.配置表输入控件

        在SQL框中编写SQL语句,用于获取字段store_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_store_last_update;单击“预览”按钮,查看临时字段max_dim_store_last_update是否将默认值设置为“1970-01-01 00:00:00” ,如图所示:

加载用户数据至用户维度表,加载商店数据至商店维度表

预览数据:

加载用户数据至用户维度表,加载商店数据至商店维度表

3.配置表输入2控件

在SQL框中编写SQL语句,用于获取sakila数据库中store数据表中的最新数据,如图所示:

加载用户数据至用户维度表,加载商店数据至商店维度表

预览数据: 

加载用户数据至用户维度表,加载商店数据至商店维度表4.配置映射控件:

双击“映射”控件,进入“映射”界面,单击“转换”选项卡处的【Browser】按钮,选择添加转换fetch_address,用于获取用户的地址信息,如图所示:

加载用户数据至用户维度表,加载商店数据至商店维度表

5.配置数据库查询控件:

加载用户数据至用户维度表,加载商店数据至商店维度表

6.配置维度查询/更新控件 :

加载用户数据至用户维度表,加载商店数据至商店维度表

加载用户数据至用户维度表,加载商店数据至商店维度表

7.运行load_dim_store转换:

加载用户数据至用户维度表,加载商店数据至商店维度表

8.查看数据表dim_store中的数据:

加载用户数据至用户维度表,加载商店数据至商店维度表

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

上一篇:神经网络分类模型训练


下一篇:张量的拼接