Atlas 元数据管理学习

2024-03-22 15:29:16

目录

概述

Apache Atlas 是 Hadoop 社区为解决 Hadoop 生态系统的元数据治理问题而产生的开源项目，它为
Hadoop 集群提供了包括 数据分类、集中策略引擎、数据血缘、安全和生命周期管理 在内的元数据治
理核心能力。
1、Atlas 支持各种 Hadoop 和非 Hadoop 元数据类型
2、提供了丰富的 REST API 进行集成（非常容易扩展，自己开发WEB）
3、对数据血缘的追溯达到了字段级别，这种技术还没有其实类似框架可以实现（最牛B亮点）
4、对权限也有很好的控制

Apache Atlas 架构

Atlas 元数据管理学习

Apache Atlas 核心组件

Type System：Atlas 允许用户为他们想要管理的元数据对象定义一个模型。该模型由称为 "类型"
的定义组成。"类型" 的 实例被称为 "实体" 表示被管理的实际元数据对象。类型系统是一个组件，允许用户定义和管理类型和实体。由 Atlas 管理的所有元数据对象（例如 Hive 表）都使用类型进
行建模，并表示为实体。要在 Atlas 中存储新类型的元数据，需要了解类型系统组件的概念。
Ingest/Export：Ingest 组件允许将元数据添加到 Atlas。类似地，Export 组件暴露由 Atlas 检测到
的元数据更改，以作为事件引发，消费者可以使用这些更改事件来实时响应元数据更改。
Graph Engine：在内部，Atlas 通过使用图形模型管理元数据对象。以实现元数据对象之间的巨大
灵活性和丰富的关系。图形引擎是负责在类型系统的类型和实体之间进行转换的组件，以及基础图
形模型。除了管理图形对象之外，图形引擎还为元数据对象创建适当的索引，以便有效地搜索它
们。
Titan：目前，Atlas 使用 Titan 图数据库来存储元数据对象。 Titan 使用两个存储：默认情况下元
数据存储配置为 HBase ，索引存储配置为 Solr（为了实现快速检索）。也可以通过构建相应的配置文件使用BerkeleyDB
存储元数据存储 和使用ElasticSearch存储 Index。元数据存储用于存储元数据对象本身，索引存
储用于存储元数据属性的索引，其允许高效搜索。

Integration
两种方法管理 Atlas 中的元数据
API：Atlas 的所有功能都可以通过 REST API 提供给最终用户，允许创建，更新和删除类型和实
体。它也是查询和发现通过 Atlas 管理的类型和实体的主要方法。
Messaging：除了 API 之外，用户还可以选择使用基于 Kafka 的消息接口与 Atlas 集成。这对于将
元数据对象传输到 Atlas 以及从 Atlas 使用可以构建应用程序的元数据更改事件都非常有用。如果
希望使用与 Atlas 更松散耦合的集成，这可以允许更好的可扩展性，可靠性等，消息传递接口是特
别有用的。Atlas 使用 Apache Kafka 作为通知服务器用于钩子和元数据通知事件的下游消费者之
间的通信。
事件由钩子(hook) 和 Atlas 写到不同的 Kafka 主题：
ATLAS_HOOK：来自各个组件的 Hook 的元数据通知事件通过写入到名为 ATLAS_HOOK 的 Kafka
topic 发送到 Atlas（消息入口：采集外部元数据）
ATLAS_ENTITIES：从 Atlas 到其他集成组件（如 Ranger）的事件写入到名为 ATLAS_ENTITIES 的
Kafka topic（消息出口：暴露元数据变更事件给外部组件）

Metadata source：
Atlas 支持与许多元数据源的集成，将来还会添加更多集成。

  • Hive：通过 hive bridge， atlas 可以接入 Hive 的元数据，包括 hive_db / hive_table /
    hive_column / hive_process / hive_db_ddl / hive_table_ddl 等
  • Sqoop：通过 sqoop bridge，atlas 可以接入关系型数据库的元数据，包括
    sqoop_operation_type / sqoop_dbstore_usage / sqoop_process / sqoop_dbdatastore
  • Falcon：通过 falcon bridge，atlas 可以接入 Falcon 的元数据，包括 falcon_cluster /
    falcon_feed / falcon_feed_creation / falcon_feed_replication / falcon_process
  • Storm：通过 storm bridge，atlas 可以接入流式处理的元数据，包括 storm_topology /
    storm_spout / storm_bolt / storm_node
    Atlas 集成大数据组件的元数据源需要实现以下两点：
  • 首先，需要基于 atlas 的类型系统定义能够表达大数据组件元数据对象的元数据模型（例如 Hive
    的元数据模型实现在org.apache.atlas.hive.model.HiveDataModelGenerator）；
  • 然后，需要提供 hook 组件去从大数据组件的元数据源中提取元数据对象，实时侦听元数据的变更
    并反馈给 atlas；

Apache Atlas 核心特性：
1、数据分类
2、集中审计
3、搜索与血缘
4、安全与策略引擎

安装

  1. 下载
    https://www.apache.org/dyn/closer.cgi/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz
  2. 解压缩
    tar -zxvf apache-atlas-2.1.0-sources.tar.gz -C apps/
  3. 修改编译配置
    vim pom.xml
    主要修改的是 hbase 和 solr：
<hadoop.version>2.8.3</hadoop.version>
<hbase.version>2.2.5</hbase.version>
<solr.version>7.7.3</solr.version>
<hive.version>3.1.0</hive.version>
<kafka.version>2.0.0</kafka.version>
<storm.version>1.2.0</storm.version>
<zookeeper.version>3.4.14</zookeeper.version>
<kafka.scala.binary.version>2.11</kafka.scala.binary.version>
<calcite.version>1.16.0</calcite.version>
<falcon.version>0.8</falcon.version>
<sqoop.version>1.4.6.2.3.99.0-195</sqoop.version>
<curator.version>4.0.1</curator.version>
<elasticsearch.version>5.6.4</elasticsearch.version>

修改 distro 项目的 pom信息：

<hbase.tar>http://mirrors.tuna.tsinghua.edu.cn/apache/hbase/${hbase.version}/hba
se-${hbase.version}-bin.tar.gz</hbase.tar>
<solr.tar>http://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/${solr.version}
/solr-${solr.version}.tgz</solr.tar>
  1. 编译
    调高 maven 使用内存
    export MAVEN_OPTS="-Xms2g -Xmx2g"
    先去下载所有的 jar： mvn dependency:tree
    mvn clean package -DskipTests -Pdist -Denforcer.skip=true -Dmaven.test.skip=true
  2. 获取安装包
    编译完成之后，会产生打包结果（apache-atlas-2.1.0-bin.tar.gz），所在位置是：源码目录中的新出现的 distro/target 目录
    编译的时候遇到找不到相应的包，需要 pom.xml增加相应的依赖。
    安装巨复杂 需要各种配置，不建议。
    推荐方式 直接 在 Ambari 中启动安装引导程序

API 二次开发

  • Type：Atlas 中的 “类型” 是一个定义, 说明如何存储并访问特定类型的元数据对象,。类型表示一个特征
    或一个特性集合, 这些属性定义了元数据对象。具有开发背景的用户将识别类型的相似性, 以面向对象编
    程语言的 “Class” 定义或关系的 “table schema”数据库。
  • Entity：Atlas 中的一个 “实体” 是类 “type” 的特定值或实例, 因此表示特定的现实世界中的元数据对
    象。回指我们的面向对象的类比编程语言, “instance” 是某个 “Class” 的 “Object”。
  • Attribute：属性定义在复合 metatypes 中, 如 Class 和 Struct。可以简单将属性称为具有名称和
    metatype 值。然而 Atlas 中的属性有更多的属性来定义与 type system 相关的更多概念。

Restful API

上一篇：keras实现手写数字识别第一步：Python3解析MNIST数据集（IDX文件格式）


下一篇：信息学奥赛一本通 1088：分离整数的各个数