计量计费
购买开通
- MaxCompute计费常见问题
- 现在公司有数据统计分析的需求,已经在用RDS数据库,还应该开通什么服务?
- 从MaxCompute上下载数据,使用华东2的ECS云主机使用内网,收取流量费用吗?
- MaxCompute如何将后付费转换为预付费?
-
MaxCompute数据存储有3.5T,把相关几张大的表格都删除后,显示的总数还是3.5T,是什么原因?会增加ODPS使用费用吗?
续费变更
- 如何关闭MaxCompute服务
- 以IO后计费的方式开通了MaxCompute,如何停用不自动续费功能?
- 没有进行MaxCompute的计算为什么有扣费操作?
-
MaxCompute table有大小的阈值设置吗?
项目管理
项目操作
- 血缘信息上下游表的相关信息,多久会更新?为什么会有重名?
- 使用DataWorks提交任务时,${bdp.system.bizdate}这个时间,如果想取一年前、一个月前、半年前和一周前分别怎么操作?
- 如何删除MaxCompute项目
- 客户端运行odpscmd -f cmd_file,cmd_file中能有变量吗?
- 有类似ptkill之类的方法批量kill超时任务的方式吗?
- mapjoin中大表和小表是否可以互换位置?
- 如何通过MaxCompute做分布式处理并访问外网?
- MaxCompute客户端配置因本地时间不对导致超时
- 如何在客户端上查看任务信息?
- MaxCompute支持快照吗?changelog的设置方式是什么?
- ODPS中可以设置表的过期时间,是否有办法设置分区的过期时间?
- MaxCompute会有lock-in问题吗?
- MaxCompute是否支持restful接口?
- 运维中心补数据功能怎么使用?
- 新建子管理账号,但子账号不能访问MaxCompute的功能,是什么原因?
- 将开通数据保护的MaxCompute表数据导入另一项目空间
- 如何查看某个MaxCompute项目及每张数据表所使用的磁盘空间?
- 如何调用Package中的表?
- 项目Owner能否更换为子账号?
- MaxCompute页面“运行任务”一类的栏目功能在哪里能看到?
- 使用Use Project命令进入项目空间时为什么会报错Failed?
- 如果不调用com.aliyun.odps.Instance中的waitForSuccess()方法,是否导致数据有遗漏?
-
MaxCompute在整个解决方案中的应用
项目资源
系统安全
用户授权
- 跨项目读取数据
- 子账号登录MaxCompute控制台看不到Project列表?
- MaxCompute如何保证数据安全
- 子账号无法访问大数据开发平台,提示缺少access id
- MaxCompute是否对外提供Xlib模块?
- MaxCompute授权报错:lack of account provider
-
如何把早期的MaxCompute项目添加到现在已开通的数加平台中?
项目数据保护与共享
审计脱敏
数据上传下载
Tunnel命令与SDK
- MaxCompute之Tunnel命令相关问题
- MaxCompute之Tunnel上传/下载相关问题
- MaxCompute之Tunnel上传典型问题场景
- MaxCompute的Web控制台的最大屏显行数
- odpscmd tunnel目录文件支持中文吗?
- odpscmd tunnel是否支持.dbf后缀非加密数据库文件?
- odpscmd tunnel是否支持多并发?
- Tunnel导入数据时候报错分区不存在
- Tunnel上传数据报错Blocks not match
- Tunnel SDK如何一次下载分区表里的所有分区
- 如何使用Tunnel下载指定的部分数据?
- Tunnel上传数据如何实现Overwrite的功能
- Tunnel SDK上传报错Error writing request body to server
- MaxCompute tunnel 命令续传数据
- MaxCompute控制台下载数据返回getTableDataCsv.json
- MaxCompute 数据导出分别有几种格式?
- 同一Region内使用Tunnel下载数据为什么也可能产生费用
-
使用Tunnel SDK上传报错为重复提交
数据通道
- 使用Tunnel或dship下载数据时,如何设置Endpoint?
- 如何删除已上传的脏数据?
- 请问datahub地址无论在内网还是外网都使用:http://dh.odps.aliyun.com这个地址吗?
- Fluented插件报错:ShardNotReady
- 调用 StreamWriter 向 MaxCompute 中写入数据时,报错:ErrorCode=MalformedDataStream?
- 上传数据的相关问题
- 如何从 MaxCompute 上批量导入数据到 ocs 业务场景需要定时从 MaxCompute 上将 k-v value 批量导入 ocs ?
- hubtable数据上传必须用java sdk吗,能不能用新版客服端就完成?
- MaxCompute 里存储的数据可以导给E-MapReduce吗?如果可以,怎么设置?
- DataHub相关问题
- 实际数据里包含分隔符的解决方案
- 导入数据实现动态分区
- Datahub和Tunnel应用场景的区别
- DataHub上传数据的限制
-
多线程上传数据时报错
SQL
SQL语句
- 报错If you really want to perform this join, try mapjoin
- 能否增加/更改分区?
- 分区数量是否越多越好?
- 如何用Mapjoin缓存多张小表?
- 如何查看MaxCompute数据量
- INSERT语句执行过程中出现错误,会损坏原有数据吗?
- 如何添加/删除列?
- 报错Table xx has n columns, but query has m columns
- 如何更新和删除数据?
- MaxCompute 里分区和分区列的区别
- 如何往MaxCompute表插入记录?
- 如何使用 not in,实现上万级别数据量的子查询?
- MaxCompute表如何设置自增长列?
- 如何查看某一天ODPS上执行的所有sql?
- 使用coalesce函数只要超过一个expression,报错FAILED: ODPS-0130071:Semantic analysis exception
- 设置MaxCompute表的主键
- Double类型数据精度问题
- 执行TO_DATE函数报错没有分钟部分
- 隐式类型转换错误
- 用SQL对Double类型数据进行比较
- 输入表过多
- 输出表的分区过多
- 执行SQL报错 FAILED: ODPS-0010000:System internal error - OTS filtering exception - Ots read range partitions exceeds the specified limit:10000
- 执行SQL报错:Repeated key in GROUP BY
- 报错:FAILED:ODPS-0130089 Invalid UDF reference - class not found for function
- 外关联后发现数据条数增加
- 删除分区报错
- 如何删除非分区表中的重复数据?
- Float类型数据应如何插入MaxCompute表
- 相同数据运行insert select 语句的结果和直接select的结果为什么不一致?
- 补数据的时候选择“写入前清理已有数据Insert Overwrite”,导致原库里面30G的数据被清理了,可以恢复吗?
- 已经指定了分区条件,为何还是会提示”禁止全表扫描”?
- 在ODPS中执行一个简单的SQL一直处于Job Quening...状态
- 查询SQL报错“ExceptionBase: ValidateJsonSize error: the size of compressed plan is larger than 1024KB”
- MYSQL中的SUBSTRING_INDEX函数在MaxCompute里没有
- 插入动态分区报错
- 报错:Expression not in GROUP BY key
- 使用odpscmd -e执行SQL语句是否有长度限制?
- odpscmd支持并行download表吗?
- 在odpscmd客户端执行的SQL能用到自己的ECS调度资源吗?如果有限制,如何增加资源?
- MaxCompute的列数限制
- MaxCompute中查询结果的排序
- MaxCompute如何非交互式运行MaxCompute SQL?
- 使用MaxCompute SQL自定义函数查询时,提示内存不够?
- MaxCompute与关系型数据库的区别
- MaxCompute支持虚拟表吗?
- product项目中运行Insert语句并使用动态分区,产生大量分区和记录数,一直没有运行完成,是什么原因?
- MaxCompute能否像MySQL一样灵活使用用户变量(即MySQL的@变量名)?
- [regexp_count(string source, string pattern[, bigint start_position]) 的第二个参数 pattern是否支持嵌入查询语句?](https://help.aliyun.com/knowledge_detail/101781.html)
- SELECT a.id as id > , IFNULL( concat('phsxxx', a.insy, 'xxxbxxx', IFNULL()报错; Semantic analysis exception - Invalid function : line 1:41 'ifnull'
- 所有的MaxCompute的配置、SQL能转移到另一个阿里云账号上吗?
- MaxCompute SQL执行提示输入的数据超过100G,怎么解决?
- MaxCompute如何将一条数据转多条?
- 可以一次add多个partition吗?
- 设置表的生命周期为3天,每个分区的存储量也很大,如果清理分区表旧数据?
- 如何查询才能少用分区计算量?分区设置能调整吗?
- 是否能将rds中的表一次性导入到MaxCompute中?
- Read Table及Select * From Table的屏显限制项
- 对于查询出的结果,目前看到提供了复制和下载功能,是否有哪些设置可以把这两个功能关闭掉?
- 使用SQLTask进行SQL查询时,如何获取所有数据?
- SQL Task返回结果集的数据量是否有限制?
- 使用SQLTask配合Tunnel实现超出1万行的运行结果导出
- 与标准SQL的主要区别及解决方法
- SQLTask查询数据和DownloadSession有何不同?
- 在MaxCompute里运行SQL命令,怎样能下载超过一万行的数据?
- MaxCompute为什么不能查看每条sql执行的费用?
- MaxCompute sql语句中like模糊查询的where条件支持正则表达式吗?
- sql执行报错ODPS-0121145:Data overflow - param convert to Double result is nan,input param is NaN,是什么原因?
- 多路输出的情况下,能否在reduce函数中拿到每一个label的输出表的表结构?
- select * from xxxx where to_char(xxx,'yyyy-mm-dd') = '2017-03-01' ;无法执行,是什么原因?
- 用SQL对Double类型数据进行round四舍五入,结果存在偏差
- 如果只同步100条数据,在where处应该怎样写limit?
- 做数据同步如何删除非分区表中的重复数据?
- 对一张表A做group by成表B,结果表B比原来表A的行数要少了,但是物理存储量表B却是表A的10倍,请问这个什么原因?
- 如果一个表下面有很多分区,需要清空这个表所有的分区,应该怎么操做?
- MaxCompute客户端SQL语句执行成功,但是会打印出异常信息
-
报错:FAILED: ODPS-0130071:Semantic analysis exception - line 6:0 Top level UNION is not supported
UDF
- 没有权限编写UDF
- 使用fastjson自定义函数时报错java.lang.NoClassDefFoundError: java/io/File
- 编写UDAF,报错:Resolve annotation not found
- ODPS上,有没有什么函数,可以把'2017-01-23'字符串转化为'20170123'
- MaxCompute表的decimal怎么设置成保留2位小数?
- MaxCompute有类似group_concat的函数吗?
- odps执行定时任务某个节点运行失败,log报错"skynet_packageid is null"
- MaxCompute是否支持Scipy?
- 如何通过自定义日志打印对UDAF进行线上调试
-
UDAF函数参数的输入类型能否像内置函数一样接受任意参数类型?
外部表
MapReduce
- write(Record key, Record value) 与 write(Record record) 的区别
- Main方法中如何判断一个表为空表?
- 如何在本地调用MaxCompute服务器运行Mapreduce任务?
- 报错:BufferOverflowException
- MaxCompute 上的 mapreduce 任务是否会对分区的数据进行覆盖?
- MapReduce常见问题
- 在MapOnly例子中,为什么程序没有指定输出Table的Schema格式
- 报错:Resource not found.
- Hadoop MapReduce源码能否直接应用于MaxCompute MapReduce?
- 使用MR报:class not found
- Mapper和Reducer相关问题
- MaxCompute MapReduce进行分布处理时,如何设置node?
- 如何打印MR/UDF中的日志?MR中是否可以只有Map?
- Reduce刚执行,就报错为内存溢出
- MR中指定两个jar,libjars和classpath
- 报错:Exception in thread “main“ java.io.IOException
- 报错:ODPS-0010000: System internal error - get input pangu dir meta fail
- 报错:Exception in thread "main" com.aliyun.odps.OdpsException: Table not found: project_name.table_name
- 报错:FAILED: ODPS-0123144: Fuxi job failed - WorkerRestart
- MR读取资源次数超过限制
- 报错:java.security.AccessControlException: access denied
- MapReduce实现排序顺序
- MapReduce中的Backups是什么?
- 在MapReduce程序中使用第三方类,打了一个assembly的jar包,运行时报找不到类的错误,应该怎样配置?
- 结果表中会保留两个MR计算之后的重复数据吗?
- [在DataWorks上件执行时logview总是显示Exceed maximum read times [256] per resource: 'RES_META_DICT_CITY'会对结果有影响吗?](https://help.aliyun.com/knowledge_detail/101808.html)
- 在MapReduce过程中OOM内存溢出应该调整什么参数?
-
运行MapReduce报错java.lang.OutOfMemoryError: Java heap space
SDK
JAVA SDK
- MaxCompute Java SDK执行任务卡顿如何处理?
- MaxCompute如何下载SDK的DOC?
- 报错:java.lang.ClassNotFoundException
- 报错:OpenJDK 64-Bit Server VM warning: Insufficient space for shared memory
-
MaxCompute分析的结果如何传输到PHP开发的WEB应用中?
Python SDK(PyODPS)
- PyODPS安装常见问题
- PyODPS开发最佳实践
- PyODPS常见问题
- Dataframe如何获得count实际数字?
- MaxCompute对Python的支持
- 使用SQL"from odps import options options.sql.settings"设置ODPS运行环境不成功是什么原因?
-
Shell或Python脚本中,如何执行MaxCompute命令?
优化诊断
小文件优化
作业诊断
- 双击客户端工具闪退
- 进行并发插入等操作报错
- FAILED: ODPS-0130121:Invalid argument type
- 创建的shell任务执行失败,运维中心无法查看失败原因
- DataWorks-运维中心-任务管理中查看某个任务属性,显示的状态是暂停,在数据开发-调度配置中有勾选暂停按钮吗?
- 数据集成操作时消息框提示order字段已经删除
- odpscmd -f 执行任务失败
- 日志服务同步日志到MaxCompute失败
- 同样的SQL语句查询同一个表为什么在不同项目里执行结果不一致?
- 数据同步报错可以配置用户邮件列表把出错的表发送给用户吗?
- 使用DataWorks时很多数据同步任务处于等待状态是什么原因?
-
shell任务执行问题:调度资源管理添加的其中一台服务器一直显示“停止”