单数据源多出口案例(一)实现 | 学习笔记

开发者学堂课程数据采集系统 Flume :单数据源多出口案例(一)实现学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/99/detail/1636


单数据源多出口案例(一)实现


内容介绍

1.创建 fume-file -flume. conf

2.创建 fume e-flume---hds.con

3.创建 flume-flume-dir. cinf

4.执行配置文件

5.启动 Hadoop 和 Hive

6.检查 HDFS 上数据


准备工作

在 /opt/module/ flume/ job 下创建 group1 文件夹。

 [ atguigu@hadoop102 job]$ cd group1/.

在 opt/ module/ datas/ 录下创建 flume3 文件夹

 [ atguigu@hadoop102 datas] $ mkdir flume3


1.创建 fume-file -flume. conf

配置1个接收日志文件的 source 和两个 channel、两个 sink, 分别输给 flume-flume-hdfs 和 flume-flume-dir。

涉及三个配置,最终输出 Avro。

本地目录需要创建。

Hive 日志里面,有一个 source,两个 sink,中间空格,两个 channel 和 c1c2。

sink 里面有两个 sink,输入口都是 avro。

单数据源多出口案例(一)实现 | 学习笔记

单数据源多出口案例(一)实现 | 学习笔记

单数据源多出口案例(一)实现 | 学习笔记

单数据源多出口案例(一)实现 | 学习笔记

单数据源多出口案例(一)实现 | 学习笔记


注: Aro 是由 Hadoop 创始人 Doug Cutting 创建的一种语言无关的数据序列化和 RPC 框架。

注: RPC( Remote Procedure Call) 一远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。

 

2.创建 fume e-flume---hds.con

配置上级 Fme 输出的 Soce, 输出是到 HDFS 的 Sink

创建配置文件打开。

单数据源多出口案例(一)实现 | 学习笔记

单数据源多出口案例(一)实现 | 学习笔记

单数据源多出口案例(一)实现 | 学习笔记


3.创建 flume-flume-dir. cinf

配置上级 Flume 输出的 source,输出是本地目录的 sink。

创建配置文件并打开。

注意: 输出的本地目录必须是已经存在的目录,如果该目录不存在,并不会创建新的目录。

单数据源多出口案例(一)实现 | 学习笔记

4.执行配置文件

单数据源多出口案例(一)实现 | 学习笔记


5.启动 Hadoop 和 Hive

单数据源多出口案例(一)实现 | 学习笔记


6.检查 HDFS 上数据

单数据源多出口案例(一)实现 | 学习笔记

单数据源多出口案例(一)实现 | 学习笔记

上一篇:博鳌直击 | 银联总裁时文朝:实现数字货币并非只能靠区块链


下一篇:数字货币的旁观者:我们为什么说区块链商业化时机还未到来?