一、加载用户数据至用户维度表
1.打开Kettle工具,创建转换:
使用Kettle工具,创建一个转换load_dim_customer,并添加表输入控件、映射控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线,具体如图所示。
2、配置表输入控件:
在SQL框中编写用于获取字段customer_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_customer_last_update;单击“预览”按钮,查看临时字段max_dim_customer_last_update是否将默认值设置为“1970-01-01 00:00:00”,如图所示:
3、配置表输入2控件:
在SQL框中编写SQL语句,用于获取数据库sakila中数据表customer中的最新数据,如图所示:
4.打开Kettle工具,新建转换,如图所示:
5.配置映射输入规范控件 :
6.配置数据库查询控件:
7.配置数据库查询2控件:
8.配置数据库查询3控件:
9.配置过滤记录控件:
10.配置JavaScript代码控件:
11.配置字段选择控件
双击“字段选择”控件,进入“选择/改名值”界面,在“元数据”选项卡的“移除”处添加要移除的字段,如图所示。
12.配置映射控件
双击“映射”控件,进入“映射”界面,单击“转换”选项卡处的【Browser】按钮,选择添加转换fetch_address,用于获取用户的地址信息,如图所示。
13.配置字段选择控件:
14.配置值映射控件 :
15.配置维度查询/更新控件:
16.运行load_dim_customer转换:
17.查看数据表dim_customer中的数据:
二、加载商店数据至商店维度表
1.打开Kettle工具,创建转换:
2.配置表输入控件
在SQL框中编写SQL语句,用于获取字段store_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_store_last_update;单击“预览”按钮,查看临时字段max_dim_store_last_update是否将默认值设置为“1970-01-01 00:00:00” ,如图所示:
预览数据:
3.配置表输入2控件
在SQL框中编写SQL语句,用于获取sakila数据库中store数据表中的最新数据,如图所示:
预览数据:
4.配置映射控件:
双击“映射”控件,进入“映射”界面,单击“转换”选项卡处的【Browser】按钮,选择添加转换fetch_address,用于获取用户的地址信息,如图所示:
5.配置数据库查询控件:
6.配置维度查询/更新控件 :
7.运行load_dim_store转换:
8.查看数据表dim_store中的数据: