大数据计算服务(MaxCompute,原名 ODPS,https://www.aliyun.com/product/odps)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。同时,大数据开发套件和MaxCompute关系紧密,大数据开发套件为 MaxCompute 提供了一站式的数据同步,任务开发,数据工作流开发,数据管理和数据运维等功能,可以参见大数据开发套件简介来对其进行深入了解。本文为大家整理了关于MaxCompute的系列问题供大家查阅参考。
产品咨询
MaxCompute是什么,怎么用?
https://yq.aliyun.com/ask/52394
MaxCompute(原odps)是否支持快照,changelog的设置方式是什么,如果有文档请发一下。
https://yq.aliyun.com/ask/53651
为什么开发MaxCompute?和类似的开源项目有啥异同?
https://yq.aliyun.com/ask/41916
maxcompute听起来很强大,会不会有lock-in问题?
https://yq.aliyun.com/ask/39752
StreamCompute和MaxCompute中的datahub区别?
https://yq.aliyun.com/ask/54575
常用场景有哪些?如何才能接入maxcompute的能力?
https://yq.aliyun.com/ask/39753
开通/注销问题
如何注销MaxCompute(ODPS)服务?
https://yq.aliyun.com/ask/16464
收费问题
我最近都没有进行maxcompute的计算, 为啥最近的4个月都有扣费操作的?
https://yq.aliyun.com/ask/54068
现在的数加平台,大数据MaxCompute(原ODPS)怎么不能查看每条sql执行的费用,我需要提前知道每个sql的费用?
https://yq.aliyun.com/ask/53661
到MaxCompute即将到期的短信,续费入口在哪里?
https://yq.aliyun.com/ask/54330
大数据计算服务MaxCompute(原ODPS)的扣费是因为项目未删除吗? 想将账号内大数据的几个项目全部删除,删除失败,能否帮忙删一下。
https://yq.aliyun.com/ask/54294
新创建的项目:rec_data 付款后一直没有生成,什么问题。
https://yq.aliyun.com/ask/54183
开通MaxCompute 包月付费后,执行SQL是否还会产生费用 ?
https://yq.aliyun.com/ask/15165
MaxCompute2.0使用问题
如何开通MaxCompute 2.0?
https://yq.aliyun.com/ask/40953
MaxCompute2.0 Outputer和Extractor有什么关系,是干什么的,谁能说清楚?
https://yq.aliyun.com/ask/53655
请问一下,maxcompute2.0里面使用表格存储作为外部表,对这个外表做联合查询的时候是不是会必然扫OTS的全部记录?
https://yq.aliyun.com/ask/53291
数据同步问题
请问华南的ecs和华东的MaxCompute内网互通吗?
https://yq.aliyun.com/ask/54282
你好,目前我们往maxcompute上传的数据都是结构的表数据,是我们在本地服务器对用户的行为日志分析后提取到的所需信息,在将这些结构化的数据上传到maxcompute。
https://yq.aliyun.com/ask/53308
MaxCompute筛检重复数据,将新数据存储到mysql数据库中
https://yq.aliyun.com/ask/53344
我们的MYSQL数据库在ECS服务器上,不是RDS,ECS上使用了安全组,只允许内网访问以及特定的IP的访问。 现在要通过MaxCompute中建立数据源,连接上MYSQL,但是 通过不了连接测试。 请问该在mysql的ECS安全组上进行怎样的设置? 比如设置那些内网IP ?
https://yq.aliyun.com/ask/54339
数据服务器rds在华北2地区,但是maxcompute 现在在华东2区,不能实现我们的需求功能,但是需要海量数据的快速读取,有没有其他方案能够解决?谢谢!
https://yq.aliyun.com/ask/53606
今天凌晨开始,从华北2的只读RDS到MaxCompute的只读业务一直同步无法完成,进度到90%几之后就没有速度,所有调度都是这样,偶尔有能成功的,不知道是什么问题,麻烦看一下。附件为同步日志。
https://yq.aliyun.com/ask/54326
MaxCompute (原ODPS)tunnel上传数据报格式化错误。
https://yq.aliyun.com/ask/53662
如果申请MaxCompute 和ADS,发现这两个产品不在一个Region里,一个在华东2,一个在华东如果数据传输maxcomputer->ads是否要开通高速通道? 怎么做?
https://yq.aliyun.com/ask/53664
你好,我们本地服务器每天采集的网站日志有10+G,然后上传至maxcompute,上传速度特别慢,请问有没有好的解决方法?谢谢!是tunnel upload,200k/s左右
https://yq.aliyun.com/ask/53310
如何在shell脚本中 将一个txt文件中的数据上传到 MaxCompute的某张表中, 把这两条命令组合成一条的办法吧 /odpscmd/bin/odpscmd tunnel upload "$FILE" project.table
https://yq.aliyun.com/ask/53289
数据怎么导入maxCompute中
https://yq.aliyun.com/ask/39743
maxcompute 数据导出到本地Mysql
https://yq.aliyun.com/ask/38060
ODPS抛出异常,线上数据没有更新,异常信息如下:
https://yq.aliyun.com/ask/54382
在本地利用ODPS客户端,无法查询MAXCOMPUTE上的任何一张表,提示如下: Warning: ODPS request failed:Connection reset, retryCount:2, will retry in 130 seconds.
https://yq.aliyun.com/ask/53297
数据管理问题
MaxCompute这里的生命周期是什么用,就是数据只能最多保存365天,然后就会清空? 如果是,这个时间能无限吗?
https://yq.aliyun.com/ask/54186
MaxCompute (原odps)项目默认的分区最大值设置为60000,请问怎么更改这个默认值呢?
https://yq.aliyun.com/ask/53663
数据下载问题
在MaxCompute(原 ODPS)里运行sql命令,怎么能下载超过一万行的数据?
https://yq.aliyun.com/ask/53637
数据开发-SQL问题
maxCompute 批量Insert问题
https://yq.aliyun.com/ask/53916
请问MaxCompute表的decimal怎么设置成保留2位小数,类似于decimal(16,2)方式。 比如0.04入库后成了0.040000000000000001
https://yq.aliyun.com/ask/53641
odps支持 正则匹配中文吗?
https://yq.aliyun.com/ask/54194
关于 odps.stage.* 和odps.sql.* 的设置,最好是全面的一些的,我们学习下,感谢!
https://yq.aliyun.com/ask/53315
MaxCompute SQL中的Select语句最多只能返回10000条结果么?
https://yq.aliyun.com/ask/16456
odps sql 子查询再联表查询时,报错!
https://yq.aliyun.com/ask/42700
在编写odps sql 如何获取当前时间
https://yq.aliyun.com/ask/40893
ODPS如何可以分析内容为JSON格式的字段?
https://yq.aliyun.com/ask/39157
MapReduce问题
你好,目前业务上有一些字典文件需要在mapper或者reducer阶段查询,但是文件大小比较大,大概几百兆甚至几个G的样子,MaxCompute有分布式缓存的方案吗?? 查询的response time一般需要多少时间? 如果大于2G的话,可以用阿里云的redis之类的吗? 网络通吗?
https://yq.aliyun.com/ask/53285
UDF问题
在maxCompute的大数据开发套件的服务中,UDF 能不能支持python写的脚本?
https://yq.aliyun.com/ask/53652
ip地址在maxcompute中可以解析成实际定位的使用地址吗(城市、省份)? 或者在阿里云别的服务中有这项功能吗? 例如获取的ip地址为125.79.232.213,可以输出定位的地址为福建南平。
https://yq.aliyun.com/ask/54292
odps里面,我写了一个udf,java代码中的udf已经按照阿里云例子写的(继承了UDF),但是在odps sql里面调用的时候报错
https://yq.aliyun.com/ask/54387
MaxCompute 做数据分析,自己编算法在哪里实现
https://yq.aliyun.com/ask/37639
odps之udf说明中,只支持udf和udtf两种形式,不知道可否支持udaf?
https://yq.aliyun.com/ask/51883
SDK问题
我看MaxCompute 的产品介绍上面提到了有restful 的接口, 以及jdbc连接方式,但是没有看到相关的文档,请问是否可以帮忙提供一下文档?
https://yq.aliyun.com/ask/53640
请问MaxCompute Java SDK中没有对数据批量上传的接口吗?
https://yq.aliyun.com/ask/53142
MaxCompute SDK中insert偶尔报错,请问什么原因 com.aliyun.odps.OdpsException: ODPS-0110999: Critical! Internal error happened in commit operation and rollback failed, possible breach of atomicity - Rename directory failed during DDLTask
https://yq.aliyun.com/ask/53647
使用MaxCOmpute python SDK读取ODPS上一张表,做一些处理后,写入另外一张表,读取和写入都是多线程的。遇到问题1. 多线程处理时,每个线程每次循环(每次循环处理100条数据)均新建了一个odps连接,有没有可能是odps连接太多了?文档中没有发现如何关闭这个odps连接? 2. 在ODPS客户端,操作一些sql命令时,也是有超时的,客户端也有超时的话,是不是可以先排除程序的问题?如下: Aliyun ODPS Command Line Tool Version 0.21.1 @Copy
https://yq.aliyun.com/ask/53658
大数据计算服务 > SDK > Java SDK咨询
https://yq.aliyun.com/ask/49818
权限问题
请问如何管理之前在MaxCompute中添加的云账号权限?
https://yq.aliyun.com/ask/53143
运维部署问题
MaxCompute有成型的灾备解决方案么?
https://yq.aliyun.com/ask/53032
本身MaxCompute是为了几千/几万台机器规模开发的大规模分布式系统,最小化部署大概什么规模呢?
https://yq.aliyun.com/ask/39755
MaxCompute有成型的灾备解决方案么?
https://yq.aliyun.com/ask/53138
请问max compute,我们要在云监控里面设置监控项吗,还是这个不用什么监控问题,谢谢!
https://yq.aliyun.com/ask/54217
开发工具-Stuido问题
MaxCompute Studio插件无法提交sql脚本
https://yq.aliyun.com/ask/52001
我用了Itellij 的 maxCompute studio插件,现在我写了一个MR 程序,想在本地测一下,类似于eclipse ODPS插件那样,从云上的表里下载一些资源到本地的warehouse 做测试,但是我点开 studio的文档,mapreduce 的文档页面已经没有内容了,请问这种本地测试只能在 maxcompute java module中进行是吗,我建立的普通的module 或者 maven 里的module 里的MR程序是无法本地测试的是吗???
https://yq.aliyun.com/ask/54187
有奖活动:
万元大奖邀您参与阿里云数加 MaxCompute最佳实践征文大赛