本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
问题一、请问MySQL中IFNULL对应到MaxCompute中的函数是什么?
NVL,MaxCompute中有内建函数可以使用,与MySQL和Oracle有对应的函数。
可以参考官方文档:https://help.aliyun.com/document_detail/96342.html
问题二、如何将UNIX时间转换为MaxCompute所需日期?
使用MaxCompute中的内建函数 FROM_UNIXTIME。此函数是将数字型的UNIX时间日期值unixtime转为日期值。
可参考官方文档:https://help.aliyun.com/document_detail/48974.html
问题三、目前MaxCompute Spark支持原生Spark哪个版本?
目前支持Spark-1.6.3和Spark-2.3.0两个版本。如何Spark on MaxCompute可以参考一下
云栖社区一篇文章:https://yq.aliyun.com/articles/728374
问题四、MaxCompute中如何使用OSS外部表读取JSON数据?
可以参考云栖社区文章查看一下操作步骤:https://yq.aliyun.com/articles/737902
问题五、MaxCompute中可以增加或更改分区吗?可以对表数据进行删除和更改操作吗?
MaxCompute中不可以在源表上直接增加/更改分区信息,分区一旦创建就不能更改。建议再建一张新分区表,使用动态分区 SQL 把源表数据导入到新分区表。同时MaxCompute不支持直接对表数据进行更新(UPDATE)操作也不支持直接对表数据进行删除(DELETE)操作。可参考文档:https://help.aliyun.com/document_detail/73771.html
问题六、MaxCompute SQL 中,使用 not in 后面接子查询,子查询返回的结果是上万级别的数据量,但语句中的子查询返回的col1的个数超过1000个时,系统会报错为 records
returned from subquery exceeded limit of 1000。应该怎么去实现子查询限制1000呢?
可以使用left outer join实现来替代子查询实现。
子查询:SELECT * FROM table_a a WHERE a.col1 IN (SELECT col1 FROM table_b b WHERE xxx);
join查询:SELECT a.* FROM table_a a JOIN (SELECT DISTINCT col1 FROM table_b b WHERE xxx) c ON (a.col1 = c.col1)
问题七、如何查看当前项目空间的所有自定义函数?
查看当前项目空间中的所有自定义函数:LIST FUNCTIONS;
查看指定项目空间下的所有自定义函数:LIST FUNCTIONS -p project_name;
可参考文档:https://help.aliyun.com/document_detail/27832.html
问题八、配置MaxCompute客户端时报错connect timed out 怎么解决?
如何正确配置MaxCompute客户端参考文章:https://yq.aliyun.com/articles/724721
问题九、使用OSS外部表怎么样将多个小文件,输出为一个文件?
查看Logview日志,看SQL的执行计划,看最后一个是Reducer还是Joiner,
如果是Reducer则设置参数为set odps.stage.reducer.num=1,
如果是Joiner,则设置为set odps.stage.joiner.num=1。
问题十、MaxCompute建议学习流程:
MaxCompute全套攻略:https://yq.aliyun.com/articles/78108
MaxCompute官方文档:https://help.aliyun.com/product/27797.html
DataWorks官方文档:https://help.aliyun.com/product/72772.html
MaxCompute开发者版官方介绍:https://help.aliyun.com/document_detail/116741.html
MaxCompute开发者版:https://promotion.aliyun.com/ntms/act/cloud/maxcdeveloperfbh.html
MaxCompute开发者版指南:https://yq.aliyun.com/articles/694716
MaxCompute实践:https://help.aliyun.com/document_detail/27808.html
Workshop文档参考实践:https://help.aliyun.com/document_detail/85292.html
Workshop视频参考:https://help.aliyun.com/video_detail/142211.html
更多阿里巴巴大数据计算技术和产品信息,可点击链接加入 MaxCompute开发者社区2群
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
或扫码加入