streamsets实战--处理protobuf数据

 1.服务器安装protoc

(1)  wget https://github.com/protocolbuffers/protobuf/releases/download/v3.14.0/protoc-3.14.0-linux-x86_64.zip  下载protoc-3.14.0-linux-x86_64.zip包上传服务器

(2)  unzip protoc-3.14.0-linux-x86_64.zip解压后会生成bin目录和include目录

(3) cp bin/protoc /usr/local/bin/;cp -r include/google /usr/local/include/

(4) protoc --version查看protoc版本

2.编写.proto文件

vim testjson.proto

syntax = "proto2";
//class mate
package json2pb;
message PersonInfo {
    //my name
    required string name = 1;
    //my age
    optional int32 age = 2;
    //my work unit
    optional string work_unit = 3;
    message ClassMate {
       //name
       optional string name = 1;
       //age
       optional uint32 age = 2;
    }
    repeated ClassMate class_mate = 4;
}

3.生成protobuf描述文件

protoc --include_imports --descriptor_set_out=Testjson.desc testjson.proto

执行完成后会在当前目录生成Testjson.desc

4.配置数据流

4.1 准备工作

1) 生成的Testjson.desc文件需拷贝到工作流安装目录的resources目录下

2)准备测试用json数据

{"name":"scq","age":30,"work_unit":"taobao","class_mate":[{"name":"jim","age":30}]}

4.2 配置

1)配置数据源

streamsets实战--处理protobuf数据

2)配置数据生成器,将数据转为protobuf格式

streamsets实战--处理protobuf数据

streamsets实战--处理protobuf数据

3)配置数据解析,将protobuf解析为json

streamsets实战--处理protobuf数据

streamsets实战--处理protobuf数据

4) 配置目的端,使用丢弃插件进行测试

4.3 预览数据流

streamsets实战--处理protobuf数据

streamsets实战--处理protobuf数据

上一篇:StreamSet 部署和修改密码


下一篇:Linux学习--第七周