MaxCompute模板与样例

1. 简介

  • MaxCompute : 是一种快速、完全托管的数据仓库解决方案,用户可以通过SQL, MR, UDF等接口与其交互。
  • MaxCompute Studio : 是MaxCompute平台提供的安装在开发者客户端的大数据集成开发环境(IDE),是用户与MaxCompute交互的高效工具。
  • 代码模板:让用户更加高效的写一些固定模式的代码,简化很多重复的代码,以提高编码效率。
  • 代码示例:一例胜千言,帮助用户快速熟悉语法,可参考示例编写自己的程序,快速上手。

代码模板和示例是用户熟悉新产品和提高开发效率的有效方式,studio提供了一系列的开发模板和代码实例。用户可以通过这些功能,快速熟悉MaxCompute,玩转大数据下的程序开发。

2. SQL模板

用户常用sql来查询和分析MaxCompute中的大规模数据,是与MaxCompute交互的主要方式(需要注意的是sql语法与Oracle或MySQL有一定差别,用户无法将其他数据库中的sql语句无缝迁移到MaxCompute上来)。一种常见情况是容易忘记sql的语法,在没有studio之前用户只能到处找MaxCompute的文档或者搜寻例子,效率十分地下。Studio在sql editor中集成了丰富的sql模板,方便用户在忘记语法时快速插入语法骨架。譬如我想创建一张外部表,忘记sql怎么写了,只记得肯定有个create关键字。那么可以在editor中通过快捷键(windows: Ctrl + J , mac: Command + J)唤出sql live template,然后输入create,studio就会列出所有创建表的sql模板,如下图:

MaxCompute模板与样例

我们选择第一个create external table,然后回车,editor中就会插入外部表的模板,用户继续在模板上修改sql即可:

MaxCompute模板与样例

3. 函数帮助样例

用户在写sql的过程中,难免要用到一些系统内置函数(builtin function)或用户自定义函数(user defined function),如果有文档样例或者看下源码知道其逻辑就好了,studio对此也提供了支持。

  • 3.1 对于系统内置函数,我们提供了文档样例说明。譬如我要做日期处理,知道有个函数叫dateadd,但怎么用,入参和出参是什么不是很清楚。很简单,在editor中输入dateadd(),然后快捷键(windows: Ctrl + Q , mac: Ctrl + J)唤出document provider,就会看到一个文档对话框,包括这个函数的参数声明,用途,参数说明,备注和示例,很方便有没有。

MaxCompute模板与样例

  • 3.2 对于用户自定义函数,我们提供了源码下载支持。譬如如下test_function_haoping是一个java UDF,我们按住ctrl键(mac: command)并单击,studio就会自动下载这个UDF用到的jar包资源,然后反编译打开UDF代码。

MaxCompute模板与样例

4. 程序开发模板

对于UDF,MR以及非结构化开发,框架的模板方法代码如果每次都需要自己输入,效率十分低下。studio为此提供了代码模板支持,具体的,在源码路径上,new -> MaxCompute Java:

MaxCompute模板与样例

在Kind下拉列表中选择你需要开发的程序类型(包括UDF,UDAF,UDTF,Driver,Mapper,Reducer,StorageHandler, Extractor,Outputter),点击ok,editor里会自动填充框架代码,只需要继续在其上修改即可。

MaxCompute模板与样例

5. 程序开发样例

除了开发模板,对UDF, MR以及非结构化,studio都集成了一些程序样例。具体的,新建一个MaxCompute java module,在examples目录下有各种示例代码及单元测试,用户可参考编写自己的程序。

6. 测试数据样例

studio支持用户在本地运行UDF,MR以及非结构化,而这必然依赖于表的数据。一种方式是通过tunnel下载相应表的生产样例数据,另外也可以参考样例,完全构造自己的测试数据。具体的,参考warehouse下example_project的目录结构以及data,构造自己的测试数据,配置运行时,选择自己构造的表或数据即可。

MaxCompute模板与样例

上一篇:玩转MaxCompute studio SQL编辑器


下一篇:MaxCompute studio 第一弹 - 元数据浏览