本文介绍如何通过向导创建SLS的OSS投递数据源发现任务,自动发现您当前区域下所有的Logstore投递到OSS的日志数据(包括新增的投递到OSS的日志数据,以及增量的分区及数据),并自动创建DLA库表映射到投递的OSS日志数据上。
前提条件
当前区域下的SLS已经将日志服务数据投递到OSS。具体操作请参考将日志服务数据投递到OSS。
业务场景
企业会把服务日志、行为日志等数据存储在日志服务SLS中,当数据量较大时,可以通过投递的方式把全量数据归档到OSS。以前这些数据不可可分析计算,使用DLA的元信息发现功能,能够一键构建数据湖的元数据,接入DLA的统一数据分析平台。使用DLA的Serverless Spark及Presto引擎能够计算和分析DLA元数据管理的全域数据,可以支持ETL后数据交付、低频全量日志数据分析、日志数据关联DB数据分析等业务场景。
操作步骤
- 登录Data Lake Analytics管理控制台。在左侧导航栏,单击数据湖管理 > 元信息发现->SLS的OSS投递数据源。
- 在SLS的OSS投递数据源页签,根据页面提示进行参数配置。
- SLS的OSS投递数据源发现任务创建成功后,单击立即发现开始运行自动发现SLS的OSS投递数据源任务。
- SLS的OSS投递数据源发现任务执行成功后,单击schema名称/前缀列下面的数据库名称链接(如单击muyuantestonline),跳转到Serverless SQL > SQL执行页面。您可以看到DLA自动发现创建成功的库、表、列信息。
- 在Serverless SQL > SQL执行页面编写SQL语句,单击同步执行或者异步执行,执行SQL语句。
例如在muyuantestonlinedla_crawler_hangzhou下执行 select * from `muyuantestonlinedla_crawler_hangzhou.
sls_crawler_test__csv_full_types` limit 20;
更多信息参考,帮助文档
用户福利
新用户1元购DLA 10TB按量扫描套餐,点击购买套餐
现在活动期间,用户1元首购原价315元的DLA 1000CU时资源包,点击购买套餐
使用DLA SQL优势
DLA SQL(兼容Presto)的目标是提供比开源自建更高的性价比、开箱即用的体验、方便的数据摄入、MySQL生态带来的简单易用、内置各种优化的数据湖分析计算服务。用户可以结合场景,选用Serverless或者CU版来降低成本或者提高运行性能。一句话就是使用兼容标准SQL方式低成本分析Tablestore等各种数据源。
欢迎大家关注我们的钉钉群获取最新的信息: