8.3.7 加载演员数据至演员维度表
1.打开Kettle工具,创建转换
使用Kettle工具,创建一个转换load_dim_actor,并添加表输入控件、插入/更新控件以及Hop跳连接线,具体如图所示:
2.配置表输入控件
双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示:
在SQL框中编写SQL语句,用于获取字段actor_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_actor_last_update;单击“预览”按钮,查看临时字段max_dim_actor_last_update是否将默认值设置为“1970-01-01 00:00:00”,如图所示:
3.配置表输入2控件
双击“表输入2”控件,进入“表输入”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示:
在SQL框中编写SQL语句,用于获取数据库sakila中数据表actor中的最新数据,如图所示:
4.配置插入/更新控件
双击“插入/更新”控件,进入“插入/更新”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击目标表右侧的【浏览】按钮,弹出“数据库浏览器”窗口,选择目标表,即维度表dim_actor,单击【获取字段】按钮,用来指定查询数据所需要的关键字,这里选择的是dim_actor数据表中的actor_id字段和输入流里面的actor_id字段;单击【获取和更新字段】按钮,用来指定需要更新的字段,如图所示:
5.运行转换load_dim_actor
单击转换工作区顶部的按钮,运行创建的转换load_dim_actor,实现加载演员数据至演员维度表dim_actor中,如图所示:
6.查看数据表dim_actor中的数据
通过SQLyog工具,查看数据表dim_actor是否已成功插入演员数据,查看结果,如图所示:
8.3.8 加载电影数据至电影维度表
1.打开Kettle工具,创建转换
使用Kettle工具,创建一个转换load_dim_film,并添加表输入控件、数据库查询控件、值映射控件、列拆分为多行控件、增加常量控件、列转行控件、计算器控件、数据库连接控件、联合查询/更新控件、分组控件、流查询控件、插入/更新控件以及Hop跳连接线,如图所示:
2.配置表输入控件
双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示:
在SQL框中编写SQL语句,用于获取字段film_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_film_last_update;单击“预览”按钮,查看临时字段max_dim_film_last_update是否将默认值设置为“1970-01-01 00:00:00”,如图所示:
3.配置表输入2控件
双击“表输入2”控件,进入“表输入”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示:
在SQL框中编写SQL语句,用于获取sakila数据库中film数据表中的最新数据,如图所示:
4.配置数据库查询控件
双击“数据库查询”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击表名处的【浏览】按钮,添加数据表language,用于查询电影的语言,在“查询所需的关键字”框中,添加查询所需的关键字字段language_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回的字段name,并重命名为language,如图所示:
5.配置数据库查询2控件
双击“数据库查询2”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击表名处的【浏览】按钮,添加数据表language,用于查询电影原版的语言,在“查询所需的关键字”框中,添加查询所需的关键字字段language_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回字段name并重命名为original_language,并对于电影原版语言为Null值,则可设置默认值为Not Application,如图所示:
6.配置值映射控件
双击“值映射”控件,进入“值映射”界面,在“使用的字段名”处的下拉框选择字段rating,指定对电影级别的字段rating进行映射;在“目标字段名”处添加rating_text字段,用于存储目标值;在“字段值”框中,添加源值和目标值,其中,源值为G(大众级,所有年龄的观众均可观看)、PG(普通级,建议在父母的陪伴下观看)、PG-13(普通级,但不适于13岁以下儿童,需要父母陪同观看)、R(限制级,17岁以下必须由父母或者监护陪伴才能观看)、NC-17(禁止17岁或者以下观众观看),这些均为美国电影分级级别的简称,对应的全称目标值为General Audiences、Parental Guidance Suggested、Parents Strongly Cautioned、Restricted、No One Under 17 Admitted,值映射控件的配置,具体如图所示:
7.配置列拆分为多行控件
双击 “列拆分为多行”控件,进入“列拆分为多行”界面,由于special_features字段表示的是电影的特点,而电影的特点有多个,因此要进行拆分;在“要拆分的字段”处的下拉框选择要拆分的字段special_features;在“分隔符”处指定分隔符;在“新字段名”框中,添加新的字段名,用于存放利用分隔符分割后得数据,如图所示:
8.配置增加常量控件
双击“增加常量”控件,进入“增加常量”配置界面,在字段框中添加常量字段Yes和No,并指定值为yes和no,用于后续判断某电影是否有预告片、是否有评论、是否删减片段以及是否有幕后等内容,有则用yes标识,反之用no标识。“增加常量”控件的配置,如图所示:
9.配置列转行控件
双击“列转行”控件,进入“列转行”界面,在“关键字段”处的下拉框中选择关键字段special_feature,由于字段special_feature中包含一个或多个内容,因此需要对字段special_feature进行列转行操作;在“构成分组的字段”框中添加分组字段;在“目标字段框”中添加目标字段,如图所示:
10.配置计算器控件
双击“计算器”控件,进入“计算器”界面,在“字段”处,添加新字段,用于存储将列转行控件流中的字段special_feature字段的NULL值替换成No的数据,如图所示:
11.配置数据库连接控件
双击“数据库连接”控件,进入“Database join”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。在SQL框中编写SQL语句,用于根据电影id获取电影的分类;在“The parameters to use”框中,添加编写SQL语句需要的参数,即film_id,计算器控件流中的字段film_id作为参数进行传递,供数据库连接控件使用如图所示:
12.配置数据库查询3控件
双击“数据库查询3”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击表名处的【浏览】按钮,添加数据表category,用于获取电影分类的id;在“查询所需的关键字”框中,添加查询所需的关键字字段category_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回的值,即name,并重命名为category,如图所示:
13.配置增加常量2控件
双击“增加常量2”控件,进入“增加常量”界面,在字段框中添加常量字段Yes,由于在“增加常量”控件中设置的常量Yes已经被替换,所以需要添加一个常量,具体如图所示:
14.配置列转行2控件
双击“列转行2”控件,进入“列转行”界面,在“关键字段”处的下拉框中选择关键字段category,根据电影分类的名称对电影进行分类;在“构成分组的字段”框中添加分组字段,在“目标字段框”中添加目标字段,如图所示;
15.配置计算器2控件
双击“计算器2”控件,进入“计算器”界面,在“字段”处,添加新字段,用于将列转行2控件流中字段category中的NULL值替换成No,如图所示:
16.配置联合查询/更新控件
双击“联合查询/更新”控件,进入“联合查询/更新”界面,,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击目标表右侧的【浏览】按钮,选择目标表,即维度表dim_film,用于加载最新的电影维度数据,并在“代理关键字”框中添加代理关键字段,并指定创建代理键为自增字段,在“关键字段”框中添加维度字段和流里的字段,如图所示:
17.配置数据库连接2控件
双击“数据库连接2”控件,进入“Database join”界面;单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。在SQL框中编写SQL语句,用于根据电影id获取演员的id,从而获取演员的基本信息;在“The parameters to use”框中,添加需要的参数,即film_id,如图所示:
18.配置数据库查询4控件
双击“数据库查询4”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击表名处的【浏览】按钮,添加数据表dim_actor,用于获取演员的基本信息;在“查询所需的关键字”框中,添加查询所需的关键字字段actor_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回的值,如图所示:
19.配置分组控件
双击“分组”控件,进入“分组”界面,在“构成分组的字段”框中添加分组字段film_key,对“数据库查询4”控件流中的数据按字段film_key进行分组;在“聚合”框中添加聚合字段count_actors,用于统计出演某部电影的演员个数,分组控件的配置如图所示:
20.配置计算器3控件
双击“计算器3”控件,进入“计算器”界面,在“字段”处,添加新字段one和actor_weighting_factor,其中字段one为自定义的常量,指定值为1,是一个临时值,可移除;字段actor_weighting_factor用于存储演员的权重因子,如图所示:
21.配置流查询控件
双击“流查询”控件,进入“流里的值查询”界面,在“Lookup step”处的下拉框选择要查询的流,即计算器3控件流;在“查询值所需的关键字”处,添加用于查询流里值的字段,即film_key,通过使用数据库查询4控件中的字段film_key去计算器3控件流中匹配相应的数据;在“指定用来接收的字段”框中,添加用来接收值的字段actor_weighting_factor,最终输出,流查询控件的配置,如图所示:
22.配置插入/更新控件
双击“插入/更新”控件,进入“插入/更新”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。单击目标表右侧的【浏览】按钮,弹出“数据库浏览器”窗口,选择目标表,即维度表dim_film_actor_bridge;单击【获取字段】按钮,用来指定查询数据所需要的关键字;单击【获取和更新字段】按钮,用来指定需要更新的字段。插入/更新控件用于通过比较流与表中字段得数据,更新维度表dim_film_actor_bridge表中数据。插入/更新控件的配置如图所示:
23.运行转换load_dim_film
单击转换工作区顶部的按钮,运行创建的转换load_dim_film,实现加载电影数据至电影维度表dim_film,如图所示:
24.查看数据表dim_film和数据表dim_film_actor_bridge中的数据
通过SQLyog工具,查看数据表dim_film和数据表dim_film_actor_bridge是否已成功插入数据,查看结果如图所示(部分数据):