用集群脚本功能让2.0.0及之前版本的包月集群presto支持读取oss数据

参照 集群脚本功能介绍,本文介绍如何用集群脚本功能让2.0.0及之前版本的包月集群presto支持读取oss数据。

准备脚本

下载 脚本,放在您的oss合适的目录里。

运行脚本

  1. 集群列表页面点击对应集群的查看详情按钮
  2. 左侧菜单单击集群脚本,进入该集群的集群脚本执行界面
  3. 单击右上角创建并执行,进入创建界面。
  4. 选择刚才的脚本,设置名字,执行的节点默认,点击执行,完成添加并执行操作。
  5. 集群脚本列表可以看到新创建的集群脚本,点击刷新可以更新集群脚本的状态。
  6. 等待集群脚本完成

验证

hive建表

下文举了一二创建数据在oss上的uservisits表的例子,请将表名,字段,oss信息替换为您oss数据对应的信息

CREATE EXTERNAL TABLE uservisits (sourceIP STRING,destURL STRING,visitDate STRING,adRevenue DOUBLE,userAgent STRING,countryCode STRING,languageCode STRING,searchWord STRING,duration INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS SEQUENCEFILE LOCATION 'oss://<accessid>:<accesskey>@<bucketname>.oss-cn-hangzhou-internal.aliyuncs.com/<datapath>';

presto查询

退出hive cli,进入presto cli
./presto --server localhost:9090 --catalog hive --schema default
执行show tables能看见刚刚创建的表,执行select counT() from uservisits能查到oss数据的条目。如果未显示,可能是还未同步,稍等一会

上一篇:Windows Phone性能优化建议


下一篇:释放Win8.1 WinSxS冗余更新,微软Dism来解决