第八章作业(2)

一、加载用户数据至用户维度表
1.使用Kettle工具,创建一个转换load_dim_customer,并添加表输入控件、映射控件、字段选择控件、值映射控件、维度查询/更新控件以及Hop跳连接线。
第八章作业(2)
2.配置“表输入”控件
连接数据库
第八章作业(2)
在SQL框中编写用于获取字段customer_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_customer_last_update;单击“预览”按钮,查看临时字段max_dim_customer_last_update是否将默认值设置为“1970-01-01 00:00:00”

第八章作业(2)
3.配置表输入2控件
在SQL框中编写SQL语句,用于获取数据库sakila中数据表customer中的最新数据
第八章作业(2)
第八章作业(2)
4.使用Kettle工具,创建一个转换fetch_address(该转换为转换load_dim_customer的子转换),并添加映射输入规范控件、数据库查询控件、过滤记录控件、JavaScript代码控件、字段选择控件以及Hop跳连接线。
第八章作业(2)
5.配置“映射输入规范”控件
双击“映射输入规范”控件,进入“Mapping input specification”界面,并添加映射的字段“address_id”,该字段为传递的参数(由于转换load_dim_customer中表输入2控件流获取的字段address_id,用于查询用户的地址信息,而后续数据仓库的维度表数据也需要用户的地址信息,因此这里将字段address_id作为传递的参数),添加完毕后单击【确定】按钮,完成“映射输入规范”控件的配置
第八章作业(2)
6.配置“数据库查询”控件
连接数据库
第八章作业(2)
单击名右侧的【浏览】按钮,添加数据表address;在“查询所需的关键字”框中,添加查询所需的关键字字段address_id,由于该字段是唯一的,因此可作为数据表address中数据和映射输入规范控件流中数据的比较条件;在“查询表返回的值”框中,添加查询表返回的值
第八章作业(2)
7.配置“数据库查询2”控件
连接数据库
单击表名处的【浏览】按钮,添加数据表city;在“查询所需的关键字”框中,添加查询所需的关键字字段city_id,作为数据表city中数据和数据库查询2控件流中数据相比较的条件;在“查询表返回的值”框中,添加查询表返回的值。
第八章作业(2)
8.配置“数据库查询3”控件
连接数据库
单击表名处的【浏览】按钮,添加数据表country;在“查询所需的关键字”框中,添加查询所需的关键字字段country_id,用于指定字段流与表字段的数据进行比较的比较条件;在“查询表返回的值”框中,添加查询表返回的值
第八章作业(2)
9.配置“过滤记录”控件
第八章作业(2)
10.配置“JavaScript代码”控件
第八章作业(2)
11.配置“字段选择”控件

第八章作业(2)
12.配置“映射(子转换)”控件
第八章作业(2)
13.配置“字段选择”控件
第八章作业(2)
14.配置“值映射”控件
第八章作业(2)
15.配置“维度查询/更新”控件
连接数据库
单击目标表右侧的【浏览】按钮,选择输出的目标表,即维度表dim_customer;在“关键字”选项卡处添加关键字字段customer_id,用于指定维度表字段和流字段的比较条件;在“字段”选项卡处添加查询/更新字段;在“代理关键字段”处的下拉框中选择customer_key为代理关键字段,并指定“创建代理键”是使用自增字段;在“Version字段”处的下拉框中选择customer_version_number;在“Stream日期字段”处的下拉框中选择last_update;在“开始日期字段”处的下拉框中选择customer_valid_from;在“截止日期字段”处的下拉框中选择customer_valid_through。
第八章作业(2)
16.运行转换

第八章作业(2)
17.查看维度表中的数据
第八章作业(2)
二、加载商店数据至商店维度表
1.新建一个转换,并添加相关控件
第八章作业(2)
2.配置“表输入”控件
连接数据库
在SQL框中编写SQL语句,用于获取字段store_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_store_last_update;单击“预览”按钮,查看临时字段max_dim_store_last_update是否将默认值设置为“1970-01-01 00:00:00”
第八章作业(2)
3.配置“表输入2”控件
连接数据库
在SQL框中编写SQL语句,用于获取sakila数据库中store数据表中的最新数据
第八章作业(2)
4.配置“映射(子转换)”控件
第八章作业(2)
5.配置“数据库查询”控件
连接数据库
单击表名右侧的【浏览】按钮,添加staff数据表,用于查询商店员工的信息;在“查询所需的关键字”框中,添加查询所需的关键字staff_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回的值,即员工姓名.
第八章作业(2)
6.配置“维度查询/更新”控件
连接数据库
第八章作业(2)
第八章作业(2)
7.运行转换
第八章作业(2)
8.查看维度表中的数据
第八章作业(2)

上一篇:熔断器-Hystrix。。。之降级方法


下一篇:Oracle存储过程