注:MaxCompute原名ODPS,是阿里云自研的大数据计算平台,文中出现的MaxCompute与ODPS都指代同一平台,不做区分
Zeppelin简介
Zeppelin是一款基于web的notebook工具,它支持以插件的方式接入各种解释器(interpreter),从而使用户能够以特定的语言或数据处理后端来完成交互式查询,并快速实现数据可视化。
部署Zeppelin
首先,你需要在部署的服务器上安装Oracle JDK 1.7,并配置好相应的JAVA_HOME环境变量,这步不做赘述。
接着,我们需要获取Zeppelin,推荐你下载官网最新的发行包。
下载后解压到服务器上的某个目录下,比如笔者解压到了本地目录:/Users/emerson/develop_tools/zeppelin-0.6.1-bin-all,该目录即为zeppelin的根目录了。在根目录下执行:
% bin/zeppelin-daemon.sh start
Zeppelin start [ OK ]
这说明zeppelin已经部署成功。
在浏览器中访问zeppelin主页,由于笔者部署在本机,而zeppelin默认启动在8080端口,所以访问的地址是:http://127.0.0.1:8080/, 你将看到类似如下的页面。默认情况下,你已经以匿名的方式访问到zeppelin。
配置新的Interpreter
接着,我们来为MaxCompute JDBC创建一个Interpreter。
首先,我们需要下载携带有完整依赖的MaxCompute JDBC的jar包。请从这里获取最新的稳定版:odps-jdbc-1.9-jar-with-dependencies.jar。
然后回到zeppelin页面,用鼠标点击右上角的“anonymous”,在弹出的下拉列表中选择“Interpreter”。
你将进入如下页面,然后点击右上角的“+Create”按钮。
接着,便进入了解释器的新建页面,如下图:
填入Interpreter的名称和分组,分别是“odps”和“jdbc”。
然后增减并修改配置如下:
其中 default.user 和 default.password 分别是你在MaxCompute对应的 accessID 和 accessKey 。而 default.url 则是对应的MaxCompute JDBC的URL,请注意替换其中的project名,此处笔者使用的是odpsdemo。
而Dependencies处的artifact填写之前下载的odps-jdbc-1.9-jar-with-dependencies.jar的本地路径。
完成配置后保存并重启该名为odps的Interpreter。
新建notebook
现在,你便可以新建notebook来测试该Interpreter了。
用鼠标点击上方的“Notebook”按钮,并选择“+Create new note”,如下图所示:
为新note命名为“odps_jdbc”,如下图:
在新的note页面点击右上角的“齿轮”按钮,完成note与新Interpreter的绑定,如下图所示:
将名为“odps”的Interpreter选中并拖拽到顶部,作为默认的Interpreter使用。
保存后,即可在note中输入符合MaxCompute SQL语法的SQL,点击运行按钮完成数据查询:
实现数据可视化
Zeppelin提供了非常丰富且简单的可视化功能,点击如下图中的可视化选项,完成简单的setting配置,即可看到不同种类的可视化图表了:
欢迎加入MaxCompute钉钉群讨论