Data Lake Analytics账号和权限体系详细介绍

2022-06-23 11:15:46

一、Data Lake Analytics介绍

数据湖（Data Lake）是时下大数据行业热门的概念：https://en.wikipedia.org/wiki/Data_lake。基于数据湖做分析，可以不用做任何ETL、数据搬迁等前置过程，实现跨各种异构数据源进行大数据关联分析，从而极大的节省成本和提升用户体验。

阿里云数据湖分析产品Data Lake Analytics（简称DLA）：https://www.aliyun.com/product/datalakeanalytics
产品文档：https://help.aliyun.com/product/70174.html

下图是DLA的简易架构（__MPP计算引擎+存储计算分离+弹性高可用+异构数据集源等）__：

二、自建账号

目前DLA是以MySQL协议方式对外提供服务，用户需要通过JDBC连接，连到DLA服务。DLA内部的账号和密码是独立自建的（与RAM不同），对应的账号和密码信息，在用户开通DLA服务时以站内信、邮件、短信等方式通知您。

可能您会疑惑，为什么DLA不是以RAM或AK账号做认证和授权，而需要自建账号。在这里，做一些简单的介绍：

DLA是数据库，在客户端建立连接（需要认证）、访问库、表、字段（需要鉴权）时，大量跨服务访问RAM系统，会给RAM系统造成很大压力，且可能会影响DLA服务延时；
DLA是数据库，需要兼容MySQL权限模型，库、表、字段等领域对象很难一一映射到RAM体系；同时RAM下的资源对象的权限粒度可粗可细，且更多偏向于管理数据生命周期而非详细数据层面的权限；
用户习惯的Grant、Revoke、Show grants等逻辑，都是直接和传统数据库的库、表、字段一一映射。
参考了阿里云上及业界云服务平台上其他数据库产品的设计，存在一样的考量；

目前DLA账号体系与RAM账号体系的关系：

三、三种账号模型

Root/Service账号：RAM主账号在某个Region内开通DLA服务时，系统会自动创建第一个DLA账户，并以站内信、短信、邮件方式通知RAM主账号，Root账号只有一个，不能删除；
User/子账号：由RAM主账号后续在Console上创建的新的DLA的User账号（注意，不是由Root账号创建的），云账号用户可以创建、删除User账号，也可以为其修改密码等；
Product账号：其他云产品（比如DBS）与DLA交互时，由用户在RAM中为该云产品授权过，由DLA自动产生并派发给云产品的账号；
Root账号和User账号，关联的RAM uid都是对应的云账号，从而Root和User账号都有机会访问云账号所有的资源（当然，这都是在授权管理之内）；

四、账号实测操作

a）开通服务并初始化服务

找到服务：

购买：

开通完成，点击进入控制台：

为不同的Region初始化服务：

初始化完成，得到一个Root账号：

重新回到主页：https://openanalytics.console.aliyun.com/overview，设置服务访问点：

配置服务访问点

b）连接数据库并通过认证

连接DLA服务，并进入服务

##连接DLA服务，账号和密码都在您的收件箱内，服务访问点则在服务页面
[root]# mysql -u<您的dla用户名> -p<您的dla密码> -h<您的dla服务访问点> -P10000

## 进入DLA服务，开始测试之旅
mysql> show databases;
Empty set (0.09 sec)

到此，我们已经完成了服务开通过程，并认证和连接成功。

c）创建子账号，并连接数据库

连接DLA服务，并进入服务，也能正常工作了：

五、权限模型

DLA中有两层权限验证机制，确保您的数据被安全访问：

DLA层授权和校验校验，基于MySQL语法而定义和实现（Grant：https://dev.mysql.com/doc/refman/5.7/en/grant.html、Revoke：https://dev.mysql.com/doc/refman/5.7/en/revoke.html、Show Grants：https://dev.mysql.com/doc/refman/5.7/en/show-grants.html）
数据源和RAM层授权和校验，基于RAM的的访问控制而实现（比如OSS、TableStore等云原生产品）：https://help.aliyun.com/product/28625.html，或者基于数据源本身的权限校验（比如RDS，是自建账号，因而也有自建权限系统）
用户的SQL发送到DLA，做完DLA的权限校验后，再转发到后端数据源层，执行RAM层和数据源的权限校验，最后再真正访问到用户的数据；

a）DLA层校验原理

DLA是根据用户操作对象的范围“从大到小”验证的，从Global级（全局权限），到Schema级，再到Table级，最后到Column级（目前不支持）一层层验证权限。任何一层有权限校验成功，到最后一层也没权限时校验失败：

b）DLA层授权方法

基本上参考了MySQL的Grant/Revoke/Show Grants语法来实现：

##grant相关
GRANT {SELECT | SHOW | ALTER | DROP | CREATE | INSERT | UPDATE | DELETE | GRANT OPTION | ALL | ALL PRIVILEGES | USAGE }
ON {* | *.* | xxDb.* | xxDb.yyTable | yyTable }
TO { oa_1234546 | 'oa_123456' | 'oa_123456'@'1.2.3.4'}
[with grant option]

##revoke相关
REVOKE {SELECT | SHOW | ALTER | DROP | CREATE | INSERT | UPDATE | DELETE |GRANT OPTION |  ALL | ALL PRIVILEGES | USAGE}
ON {* | *.* | xxDb.* | xxDb.yyTable  | yyTable }
FROM { oa_1234546 | 'oa_123456' | 'oa_123456'@'1.2.3.4'}

##show grants相关
SHOW GRANTS 
[for [ current_user | current_user() | oa_123456 | 'oa_123456' | 'oa_123456'@'localhost'] ]

c）DLA与RAM间权限映射

因为DLA中的子账号与RAM中的子账号并不是一一对应，因而RAM中资源的权限和DLA中库表的权限也不是自然映射的，而是需要在DLA中以特殊定义的方式来做资源的映射和权限的隔离。

目前DLA中授权单位是Schema级别的，也就意味着如果Root账号给某个User账号授权了一个库的权限，那这个User账号能够访问这个库下所有的表，也就意味着能够访问该库映射到RAM上所有的资源，这些访问并不受RAM的子账号权限控制。

比如，我们看一个典型的建库语句（假设用户已经可以在DLA中创建相关的库）：

CREATE DATABASE db_name 
with dbproperties (
  CATALOG = 'ots',
  LOCATION = 'https://test-hangzhou.ots.aliyuncs.com',
  INSTANCE = 'test'
)

如果Root账号给某个User账后执行Grant操作后，该User账号就可以访问这个库：

grant all on db_name.* to xxx_s1519122757;

上述过程都假设云账号的系统角色授权已经完成，下一节我们介绍首先如何完成系统角色授权，从而允许DLA访问你在其他云产品中的数据。

d）系统角色授权

系统角色授权是指：用户给DLA授权，允许DLA访问用户相关云服务里的数据，从而实现DLA关联分析用户数据的目标，或者通过DLA实现ETL，将数据回流到用户的库。具体过程可以参考：https://help.aliyun.com/document_detail/53478.html

e）跨账号访问

DLA支持跨账号，允许A用户在DLA上，连接B用户的OSS上的数据进行分析计算，不过这需要做一些操作，后续文档会以图形化的方式来介绍和引导用户：

六、权限实测操作（以TableStore为案例）

a）准备TableStore的库表

我们来到OTS的首页，https://ots.console.aliyun.com/index，创建希望DLA做分析的库和表：

库建完后，去建表

插入一行数据

b）开通TableStore给DLA的云服务角色授权

关于访问控制和角色授权等信息，请参考：https://help.aliyun.com/product/28625.html

回到DLA主页：https://openanalytics.console.aliyun.com/overview

点击同意授权：

授权完成之后的状态：

查看角色授权已经成功：

c）在DLA中创建库和表，关联TableStore库和表

我们重新回到DLA Root账号（oa_xxx），通过JDBC协议连接到DLA（账号信息、DLA访问点、JDBC连接方式，请参考前面文档）

╰─○ mysql -u<您的DLA Root账号> -p<您的DLA Root账号的密码> -h<您的DLA-jdbc访问点> -P10000 

mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 194631
Server version: 5.6.40-log Source distribution

Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

开始创建库，去关联TableStore中的实例：

mysql> select user();
+----------------+
| user()         |
+----------------+
| oa_xxxxxxxxxxx |
+----------------+
1 row in set (0.08 sec)

mysql> show databases;                                                                                                                                                                                      Empty set (0.02 sec)

mysql> create database ots_account_test 
with dbproperties(
  catalog = 'ots',
  location = 'https://account-test.cn-shanghai.ots-internal.aliyuncs.com',
 instance = 'account-test'
) comment 'test account and privileges';
Query OK, 0 rows affected (0.10 sec)

mysql> show databases;
+------------------+
| Database         |
+------------------+
| ots_account_test |
+------------------+
1 row in set (0.01 sec)

mysql> show create database ots_account_test;
+------------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Database         | Create Database                                                                                                                                                                                                       |
+------------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| ots_account_test | CREATE DATABASE `ots_account_test`
WITH DBPROPERTIES (
    catalog = 'ots',
    location = 'https://account-test.cn-shanghai.ots-internal.aliyuncs.com',
    instance = 'account-test'
)
COMMENT 'test account and privileges' |
+------------------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.03 sec)

开始创建表，去关联TableStore中的表，并查询数据（结果与OTS中的结果一致）：

mysql> use ots_account_test;
Database changed

mysql> show tables;
Empty set (0.03 sec)

mysql> create external table account_test (
    -> pk1 int not null primary key,
    -> name varchar(20) 
    -> );
Query OK, 0 rows affected (0.15 sec)

mysql> show create table account_test;
+--------------+-----------------------------------------------------------------------------------------------------------------------------------------------+
| Table        | Create Table                                                                                                                                  |
+--------------+-----------------------------------------------------------------------------------------------------------------------------------------------+
| account_test | CREATE EXTERNAL TABLE `account_test` (
    `pk1` int NOT NULL COMMENT '',
    `name` varchar(20) NULL COMMENT '',
    PRIMARY KEY (`pk1`)
)
COMMENT '' |
+--------------+-----------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.04 sec)

mysql> select * from account_test;
+------+--------------+
| pk1  | name         |
+------+--------------+
|  123 | account-test |
+------+--------------+
1 row in set (1.61 sec)

至此，我们已经成功完成了数据关联并实现数据查询的过程！！

d）把库和表授权给子账号来访问

上诉都是Root账号在操作，从前面的分析可知，Root账号是可以操作对应云账号所有的云资源的，但是DLA的User账号却不行，必须通过Root账号给User账号Grant权限，DLA才能允许某个User账号访问对应的库和表：

切换到User账号/子账号连接页面，此时看不到任何库表：

mysql> select user();
+------------------------+
| user()                 |
+------------------------+
| test_sxxxxxxxxxxxxxxxx |
+------------------------+
1 row in set (0.14 sec)

mysql> show databases;
Empty set (0.02 sec)

mysql> show grants ;
+------------------------------------------------+
| Grants for test_sxxxxxxxxxxxxxxxx              |
+------------------------------------------------+
| GRANT USAGE ON *.* TO 'test_sxxxxxxxxxxxxxxxx' |
+------------------------------------------------+
1 row in set (0.03 sec)

切换Root账号连接页面，我们给前面的账号授权：

mysql> select user();
+------------------------+
| user()                 |
+------------------------+
| oa_xxxxxxxxxxx |
+------------------------+
1 row in set (0.14 sec)

mysql> show grants for test_sxxxxxxxxxxxxxxxx;
+---------------------------------------------------------------+
| Grants for test_sxxxxxxxxxxxxxxxx                             |
+---------------------------------------------------------------+
| GRANT USAGE ON *.* TO 'test_sxxxxxxxxxxxxxxxx'                |
+---------------------------------------------------------------+
1 rows in set (0.02 sec)


mysql> grant all on ots_account_test.* to test_sxxxxxxxxxxxxxxxx;
Query OK, 0 rows affected (0.05 sec)


mysql> show grants for test_sxxxxxxxxxxxxxxxx;
+---------------------------------------------------------------+
| Grants for test_sxxxxxxxxxxxxxxxx                             |
+---------------------------------------------------------------+
| GRANT USAGE ON *.* TO 'test_sxxxxxxxxxxxxxxxx'                |
| GRANT ALL ON `ots_account_test`.* TO 'test_sxxxxxxxxxxxxxxxx' |
+---------------------------------------------------------------+
2 rows in set (0.03 sec)

切换User账号连接页面，重新查询看看，已经有权限了，并且可以读取数据：

mysql> select user();
+------------------------+
| user()                 |
+------------------------+
| test_sxxxxxxxxxxxxxxxx |
+------------------------+
1 row in set (0.14 sec)


mysql> show grants ;
+---------------------------------------------------------------+
| Grants for test_sxxxxxxxxxxxxxxxx                             |
+---------------------------------------------------------------+
| GRANT USAGE ON *.* TO 'test_sxxxxxxxxxxxxxxxx'                |
| GRANT ALL ON `ots_account_test`.* TO 'test_sxxxxxxxxxxxxxxxx' |
+---------------------------------------------------------------+
2 rows in set (0.02 sec)


mysql> show databases;
+------------------+
| Database         |
+------------------+
| ots_account_test |
+------------------+
1 row in set (0.02 sec)


mysql> select * from ots_account_test.account_test;
+------+--------------+
| pk1  | name         |
+------+--------------+
|  123 | account-test |
+------+--------------+
1 row in set (0.43 sec)

至此，子账号授权访问就可以了！

e）支持跨账号访问

一般情况，用户大部分使用DLA的场景是，云账号A使用DLA访问云账号A在其他云产品中的数据，从前面的分析可以知道，只要用户在DLA的console上选择具体的数据源（比如TableStore）给DLA做系统角色授权之后，就可以打通数据源，创建库表和查询数据了。

但是，还有一种场景是：云账号A使用DLA来访问云账号B在其他云产品（以下以TableStore）中的数据，这需要专门的角色授权才能正常运行：

假设上述测试账号对应的云账号为A，下面就以TableStore和另一个云账号B（DLA另一个真实的测试云账号）作为案例，演示B账号给A账号针对TableStore中某个instance做跨账号授权，并且A在DLA中完成查询的过程。

首先，需要到B账号内，在"访问控制（https://ram.console.aliyun.com）"中创建一个跨账号授权的角色：

选择一个“服务角色”，选择一个合适的模板，快速创建：

重新回到角色管理页面，找到这个角色做修改（修改成支持DLA的模板）：

跨账号的角色创建和修改完成，开始做“角色授权策略”的配置，这里我们以TableStore为例，其他数据源类似：

跨账号角色定义，以及角色授权都操作完成，我们开始进入DLA的实际测试，首先查看云账号B的TableStore中的instance和table的情况：

重新使用云账号A的DLA Root账号，通过MySQL-cli连接到DLA，然后连接和访问云账号B的数据：

mysql> select user();
+----------------+
| user()         |
+----------------+
| oa_xxxxxxxxxxx |
+----------------+
1 row in set (0.06 sec)

mysql> show databases;
+------------------+
| Database         |
+------------------+
| ots_account_test |
+------------------+
1 row in set (0.24 sec)

mysql> create database ots_cross_account_test  
with dbproperties(
  catalog = 'ots',
  location = 'https://test-sh.cn-shanghai.ots-internal.aliyuncs.com', --云账号B的TableStore instance
  instance = 'test-sh',
  cross_account_accessing_arn= 'acs:ram::1013xxxxxx:role/test-cross-account-accessing-role'  --云账号B为云账号A@云服务DLA的跨账号角色授权时的Arn信息
);
Query OK, 0 rows affected (0.14 sec)

mysql> show databases ;
+------------------------+
| Database               |
+------------------------+
| ots_account_test       |
| ots_cross_account_test |
+------------------------+
2 rows in set (0.18 sec)

mysql> show create database ots_cross_account_test;
+------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Database               | Create Database                                                                                                                                                                                                                                                                           |
+------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| ots_cross_account_test | CREATE DATABASE `ots_cross_account_test`
WITH DBPROPERTIES (
    catalog = 'ots',
    location = 'https://test-sh.cn-shanghai.ots-internal.aliyuncs.com',
    instance = 'test-sh',
    cross_account_accessing_arn = 'acs:ram::1013xxxxxx:role/test-cross-account-accessing-role'
)
COMMENT '' |
+------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.19 sec)

mysql> use ots_cross_account_test;
Database changed

mysql> show tables;
Empty set (0.19 sec)

mysql> create external table test_table1 (
  id1 int not null primary key,
  col1 int 
);
Query OK, 0 rows affected (0.31 sec)

mysql> show tables;
+-------------+
| Table_Name  |
+-------------+
| test_table1 |
+-------------+
1 row in set (0.20 sec)

mysql> show create table test_table1;
+-------------+--------------------------------------------------------------------------------------------------------------------------------------+
| Table       | Create Table                                                                                                                         |
+-------------+--------------------------------------------------------------------------------------------------------------------------------------+
| test_table1 | CREATE EXTERNAL TABLE `test_table1` (
    `id1` int NOT NULL COMMENT '',
    `col1` int NULL COMMENT '',
    PRIMARY KEY (`id1`)
)
COMMENT '' |
+-------------+--------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.20 sec)

mysql> select * from test_table1;
+--------+------+
| id1    | col1 |
+--------+------+
|      0 | -111 |
| 111111 |  111 |
+--------+------+
2 rows in set (1.29 sec)

顺便提醒一下，普通的建库流程中是不需要cross_account_accessing_arn参数的，意味着默认是云账号自己给自己开通了DLA访问云服务的权限，而有了cross_account_accessing_arn参数，就表示跨账号服务的开启，这个DLA中的库以及库下面的表，都有了跨账号访问的权限！！

到这里，我们跨账号访问的全过程就完成啦！！如果你希望连接OSS等云服务，你也可以按照上述流程操作一遍！！

码农公寓

Data Lake Analytics账号和权限体系详细介绍

一、Data Lake Analytics介绍

二、自建账号

三、三种账号模型

四、账号实测操作

a）开通服务并初始化服务

b）连接数据库并通过认证

c）创建子账号，并连接数据库

五、权限模型

a）DLA层校验原理

b）DLA层授权方法

相关关键信息说明：

c）DLA与RAM间权限映射

d）系统角色授权

e）跨账号访问

六、权限实测操作（以TableStore为案例）

a）准备TableStore的库表

b）开通TableStore给DLA的云服务角色授权

c）在DLA中创建库和表，关联TableStore库和表

d）把库和表授权给子账号来访问

e）支持跨账号访问

码农公寓

一、Data Lake Analytics介绍

二、自建账号

三、三种账号模型

四、账号实测操作

a）开通服务并初始化服务

b）连接数据库并通过认证

c）创建子账号，并连接数据库

五、权限模型

a）DLA层校验原理

b）DLA层授权方法

相关关键信息说明：

c）DLA与RAM间权限映射

d）系统角色授权

e）跨账号访问

六、权限实测操作（以TableStore为案例）

a）准备TableStore的库表

b）开通TableStore给DLA的云服务角色授权

c）在DLA中创建库和表，关联TableStore库和表

d）把库和表授权给子账号来访问

e）支持跨账号访问

相关文章