【2019年大数据福利推荐】MaxCompute教程、案例视频合集汇总(持续更新20190121)

大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

 

本文收录了大量的MaxCompute教程、案例视频,帮助您快速了解MaxCompute/ODPS。 

 

目录大纲

产品最新动态:

大数据计算服务MaxCompute官方介绍

MaxCompute 2.0新功能介绍

阿里关涛谈大规模计算—面向企业的大数据平台MaxCompute

MaxCompute新一代计算引擎:布局整个大数据和AI生态链

MaxCompute2.0产品最新进展

MaxCompute新上线功能特性介绍

 

技术原理:

MaxCompute 2.0 性能优化揭秘

从单租户IaaS到多租户PaaS——金融级别大数据平台MaxCompute的多租户隔离实

MaxCompute大数据语言的新发展

飞天伏羲:阿里云分布式调度系统架构实战

阿里云大规模计算平台研究与实战

阿里大规模数据计算与处理平台

MaxCompute数据上云与生态

高可用大数据计算平台如何持续发布和演进

 

产品教程:

MaxCompute客户端 - odpscmd操作使用

DataWorks调度配置分享

MaxCompute多租户数据安全体系介绍及实践

MaxCompute数据安全管理解析

Python与大数据计算平台结合实践

MaxCompute Logview参数详解和问题排查

如何将Kafka数据同步至MaxCompute

MaxCompute Tunnel上传典型问题场景实战

数据进入MaxCompute的N种方式

MaxCompute数据仓库数据转换实践

阿里云大数据数仓建设性能优化方式

帮助企业做好MaxCompute成本优化的实践

自建Hadoop数据如何托管到MaxCompute

使用Flume收集网站日志数据到MaxCompute

将ECS上的Hadoop数据迁移到MaxCompute

MaxCompute Studio开发实战

 

客户案例:


互联网下半场的角逐,玩转轻资产的大数据服探秘

独角兽背后的大数据力量(众安保险、亲宝宝、中金易云、蚂蚁金服)

衣二三基于MaxCompute构建智能化运营工具

ofo在MaxCompute平台的大数据开发之路

基于MaxCompute构建Noxmobi全球化精准营销系统

MaxCompute在阿里妈妈数字化营销解决方案上的典型应用

佰腾科技的专利大数据的云上裂变之路

用大数据打造你的变美频道-小红唇

上海云贝网络科技:云上大数据,零售新思维

上海云栖:开启大数据智能时代(轻松筹、收钱吧)

 

产品最新动态:

大数据计算服务MaxCompute官方介绍

https://videocdn.taobao.com/oss/taobao-ugc/557a6734b5d8488e82774628b0118f4f/1478591731/video.mp4

 

MaxCompute 2.0新功能介绍

视频介绍:最新推出的MaxCompute 2.0,在高性能方面主要依托于全新的SQL 2.0计算引擎。在新功能方面提供了非结构化的处理,在云上开始使用OSS(开放的对象存储)、OTS(开放的表格存储),MaxCompute对其进一步分析和计算提供了连接性。在开放性方面,兼容Hive、Spark SQL;

https://help.aliyun.com/video_detail/89937.html

 

阿里关涛谈大规模计算—面向企业的大数据平台MaxCompute

在刚刚结束的2018杭州云栖大会上,阿里巴巴通用计算平台负责人,阿里巴巴计算平台资深技术专家关涛从计算力,联合计算,智能化,企业级服务能力四个方面详细介绍阿里巴巴统一的超大规模数据计算平台MaxCompute的探索与实践。从数字化阿里巴巴,到数字化企业,再到数字化城市,MaxCompute快速进化,加速科技普惠, 驱动数字中国。

https://yunqi.youku.com/2018/hangzhou/videos?spm=a2c4e.11165380.1220735.5&video=https://yunqivedio.alicdn.com/od/7kCzt1537435157133.mp4

 

MaxCompute新一代计算引擎:布局整个大数据和AI生态链

2018年9月19日下午,阿里巴巴集团副总裁周靖人,携阿里巴巴资深技术专家、Dataworks负责人徐晟,阿里巴巴研究员、MaxCompute负责人关涛,阿里巴巴研究员、实时计算负责人蒋晓伟,以及阿里巴巴研究员、PAI平台负责人林伟,描绘了阿里新一代计算引擎。

 

https://yunqivedio.alicdn.com/od/ChpeY1537587825738.mp4

 

MaxCompute2.0产品最新进展

视频介绍:从2010年开始MaxCompute(原名ODPS)作为阿里巴巴集团统一的大数据计算平台,到2013年在阿里云上开始正式提供公共大数据计算服务,在集群规模、稳定性、数据安全、处理性能、拥有成本、生态工具等方面持续进化。 来自阿里巴巴计算平台 高级产品专家 云郎,本次分享将会带来MaxCompute产品最新进展。

https://edu.aliyun.com/lesson_1010_8794

 

MaxCompute新上线功能特性介绍

视频介绍2018年9月以来,MaxCompute增加了哪些新功能?支持哪些新语法?优化哪些新体验?MaxCompute产品专家曲宁带你一起解读Lightning、Spark、CUBE、HashClustering、UDT;

https://help.aliyun.com/video_detail/100491.html

 

 

技术原理:

深入浅出的剖析MaxCompute技术原理,比如SQL运行原理、MR机制、伏羲调度机制、盘古存储机制、优化器等等。

 

MaxCompute 2.0 性能优化揭秘

视频介绍:回顾大数据技术领域大事件,最早可追溯到06年Hadoop的正式启动,而环顾四下,围绕着数据库及数据处理引擎,业内充斥着各种各样的大数据技术。这是个技术人的好时代,仅数据库领域热门DB就有300+,围绕着Hadoop生态圈的大数据处理技术更是繁花似锦。在云栖社区2017在线技术峰会大数据技术峰会上,阿里云大数据计算平台架构师林伟做了题为《MaxCompute的大脑:基于代价的优化器》的分享,为大家分享阿里巴巴大数据计算服务的大脑——基于代价的优化器的设计和架构。

http://yq.aliyun.com/webinar/play/188

 

从单租户IaaS到多租户PaaS——金融级别大数据平台MaxCompute的多租户隔离实践

来自阿里云的高级技术专家李雪峰带来了主题为《金融级别大数据平台的多租户隔离实践》的演讲。在分享中,李雪峰首先介绍了基于传统IaaS单租户架构做隔离时面临的问题;然后,他重点分享了MaxCompute PaaS层面的多租户的架构以及MaxCompute在安全隔离方面的具体实践。

http://cloud.video.taobao.com/play/u/2605255438/p/1/e/6/t/1/218081337449.mp4

 

MaxCompute大数据语言的新发展

视频介绍:阿里云飞天一部高级专家振禹为大家带来题为“MaxCompute SQL 现状与展望”的演讲。本文重点解析了MaxCompute SQL 现状,详细介绍了各种功能,其中包括编译器用户友好功能、复杂类型、CTE、参数化视图和SEMI JION等,接着说明了MaxCompute SQL即将完成与推进中的功能,最后作了简要总结。

http://yq.aliyun.com/webinar/play/189

 


飞天伏羲:阿里云分布式调度系统架构实战

视频介绍:阿里云分布式调度团队在分布式调度系统的设计、实现、优化等方面的实践以及由此而总结的分布式系统设计的一般性原则,具体包括分布式调度的任务调度、资源调度、容错机制、规模挑战、安全与性能隔离以及未来发展方向六部分。

https://yq.aliyun.com/video/play/470

 

 

 

阿里云大规模计算平台研究与实战

视频介绍:本次演讲将介绍MaxCompute在双十一中如何满足阿里巴巴上万用户不同计算任务在延时、性能、规模上不同需求,并在全局做到低成本、高性能、高弹性、高可用;如何能够在保证高可用计算服务和用户数据安全性下持续发布改进计算平台。

https://yq.aliyun.com/video/play/361

 

阿里大规模数据计算与处理平台

视频介绍:双11,阿里云实时大数据系统产生了3项世界级记录:第1笔交易发生到大屏上显示结果,处理过程仅几秒钟;最高处理速度千万条/秒;全天服务不降级、无故障。MaxCompute抗下了单天数据处理峰值上百PB,百万级的调度作业的挑战。 

https://yq.aliyun.com/video/play/453

 

 

 

MaxCompute数据上云与生态

视频介绍:来自阿里云计算平台的高级专家朋春分享从MaxCompute提供的离线、实时数据通道入手,延伸到DTS、Logstash、DataX等官方/开源软件,向大家介绍如何从数据库、本地文件等多种存储向MaxCompute导入数据,分享最后还介绍了如何在Python和R语言中使用MaxCompute。

http://yq.aliyun.com/webinar/play/192

 

高可用大数据计算平台如何持续发布和演进

视频介绍:阿里云计算平台高级专家无庸为大家带来题为“高可用大数据计算服务如何持续发布和演进”的演讲。本文先对MaxCompute架构进行了介绍,接着重点介绍在大数据计算服务下,高可用服务持续改进和发布的工具,包括Playback工具、Flighting工具和灰度上线、细粒度回滚等。

https://yq.aliyun.com/live/193

 

 

产品教程:

MaxCompute客户端 - odpscmd操作使用

视频介绍:介绍如何借助客户端命令行工具使用 MaxCompute 服务的基础功能

https://yq.aliyun.com/live/467

 

 

DataWorks调度配置分享

视频介绍:介绍通过DataWorks进行新增调度资源、调度资源管理、配置不同周期任务依赖等最佳实践。

https://help.aliyun.com/video_detail/87887.html

 

MaxCompute多租户数据安全体系介绍及实践

视频介绍:介绍MaxCompute 多租户的数据安全体系,包括用户认证、项目空间的用户与授权管理、项目空间的数据保护等内容。

https://help.aliyun.com/video_detail/87058.html

 

MaxCompute数据安全管理解析

视频介绍:来自阿里云高级产品经理海清,本次分享主要介绍MaxCompute安全模型与Dataworks安全模型之间的关联,同时介绍如何将两个产品有效的结合进行日常数据安全管理,保障数据安全。

https://help.aliyun.com/video_detail/99890.html

 

Python与大数据计算平台结合实践

视频介绍:Pandas库提供丰富的API尤其是DataFrame API来操作结构化数据,但是作为单机的库,计算能力有限;同时MaxCompute本身作为大数据处理平台,提供了海量数据的能力,SQL作为主要的数据处理语言,表达能力受限于SQL语法。PyODPS DataFrame框架提供了一种类似于Pandas DataFrame的API,但是能将操作编译成SQL执行,使用户同时拥有API的便捷和海量数据计算能力。同时,PyODPS提供了类似scikit-learn类似的接口,通过输入和输出PyODPS DataFrame,能让用户无需学习成本,就能用类似scikit-learn的体验进行机器学习和数据挖掘。

https://yq.aliyun.com/video/play/396

 

MaxCompute Logview参数详解和问题排查

视频介绍:对于Logview上的诸多参数信息,究竟应该怎么“拨开云雾”,发现问题所在呢?又如何通过Logview了解每个instance、task运行状态及资源占用情况,如何分析执行计划,分析query存在问题,找到Long-Tails task,让数据分析业务高效又省钱呢?本文中,阿里巴巴计算平台产品专家云花将为大家揭晓答案。

https://yq.aliyun.com/live/484

 

 

如何将Kafka数据同步至MaxCompute

视频介绍:来自阿里云高级售后技术工程师云奉,本次分享主要介绍如何将Kafka的数据同步到MaxCompute。

https://yq.aliyun.com/live/696

 

MaxCompute Tunnel上传典型问题场景实战

视频介绍:来自阿里云高级技术支持工程师,本次分享关于MaxCompute Tunnel上传的各种用法,如何使用Python UDF实现正则、如何使用shell实现批量上传、实现自定义分隔符等。

https://yq.aliyun.com/live/697?spm=a2c4e.11153940.blogcont670753.16.14463183eksgjx

 

数据进入MaxCompute的N种方式

视频介绍:由阿里云数据技术专家彬甫带来以“数据进入MaxCompute的N种方式”为题的演讲。本文讲述了在阿里云内部开发了一个实战Demo系统,它能够实现自动全链路的大数据处理流程,其中包括离线的和实时数据的,接下来将为大家揭晓实战Demo系统是怎样实现自动全链路的大数据处理流程的。

http://cloud.video.taobao.com/play/u/2605255438/p/1/e/6/t/1/50177942336.mp4?spm=a2c4e.11153940.blogcont603650.17.27d8c504KrSjyN&file=50177942336.mp4

 

MaxCompute数据仓库数据转换实践

视频介绍:由阿里云数据技术专家彬甫带来以“MaxCompute数据仓库数据转换实践”为题的演讲。本文首先介绍了MaxCompute的数据架构和流程,其次介绍了ETL算法中的三大算法,即更新插入算法、直接加载算法、全量历史表算法,再次介绍了在OLTP系统中怎样处理NULL值,最后对ETL相关知识进行了详细地介绍。

http://cloud.video.taobao.com/play/u/2605255438/p/1/e/6/t/1/50177978054.mp4?spm=a2c4e.11153940.blogcont603650.20.27d8c5041B6DJs&file=50177978054.mp4

 

阿里云大数据数仓建设性能优化方式

视频介绍:对于阿里云大数据数仓建设性能优化而言,主要可以从调度优化、模型优化、同步优化以及任务优化这四个方面着手。其实,对于性能优化而言,最终还是会归结到“资源”之上,所以资源是否足够,分配是否合理也是我们在进行性能优化时必须考虑的关键所在。

http://cloud.video.taobao.com/play/u/2605255438/p/1/e/6/t/1/50178016505.mp4?spm=a2c4e.11153940.blogcont603650.23.27d8c5041B6DJs&file=50178016505.mp4

 

帮助企业做好MaxCompute成本优化的实践

视频介绍:阿里云在和很多企业交流的过程中发现他们在使用MaxCompute的时候往往会遇到一些成本相关的问题,而在与客户不但交流沟通的过程中,阿里云在成本优化方面也积累了大量的经验,因此也希望能够将这些经验沉淀下来分享给更多的企业和开发者,本文就将与大家分享帮助企业做好MaxCompute成本优化的“四步走”战略。

http://cloud.video.taobao.com/play/u/2605255438/p/1/e/6/t/1/50178070358.mp4?spm=a2c4e.11153940.blogcont603650.26.27d8c5041B6DJs&file=50178070358.mp4

 

自建Hadoop数据如何托管到MaxCompute

视频介绍:MaxCompute大数据计算服务,能提供快速、完全托管的PB级数据仓库解决方案,能够使用户经济且高效地分析处理海量数据。而用户往往之前使用了Hadoop实现大数据计算任务,在选择了阿里云大数据计算服务之后,如何从Hadoop向MaxCompute进行迁移就成为了一个需要面对的问题了。在本文中,阿里云数据技术专家结网就为大家分享了从Hadoop迁移到MaxCompute的理论与实践。

https://yq.aliyun.com/webinar/play/495

 

使用Flume收集网站日志数据到MaxCompute

视频介绍:本教程通过Flume 离线采集日志到 MaxCompute,帮助中小企业实现低成本海量数据存储。

https://yq.aliyun.com/video/play/487

 

将ECS上的Hadoop数据迁移到MaxCompute

视频介绍:本教程是一个MaxCompute零基础教程,在用户拥有hadoop集群以及拥有一定的hadoop数据开发经验基础上,结合阿里云ECS服务器,即可玩转阿里云数加平台以及该平台下大数据开发套件、Datax工具,实现数据从hadoop到MaxCompute。

https://yq.aliyun.com/video/play/450

 

 

 

MaxCompute Studio开发实战

视频介绍:阿里云计算平台高级技术专家薛名深入介绍阿里巴巴大数据计算平台开发利器—MaxCompute Studio。一站式的 IDE,可以快速完成数据浏览和管理、进行基于 SQL 和 UDF 的数据开发,更具备完善的作业分析和优化辅助等功能。

https://edu.aliyun.com/lesson_1010_8793

 

 

客户案例:

MaxCompute在短短的几年时间里,改变了很多行业,积累了大量的客户成功案例。比如东润环能在3个月内业务全面交付云端,数据处理时间不到原来自建方式的1/3,并确保云上数据安全无忧。墨迹天气日志分析业务迁移到数加MaxCompute后,开发效率提升了超过5倍,存储和计算费用节省了70%,每天处理分析2TB的日志数据,更高效的赋能其个性化运营策略。本文收录了大量的客户案例,总有一款适合您。

 

本次活动主题聚焦在互联网下半场的角逐中,如何玩转轻资产的大数据服务。阿里巴巴、新华智云、高德、人人车多位业内大数据技术专家共同就该主题进行分享和探讨,畅谈轻资产大数据服务平台背后的技术经验。

https://yq.aliyun.com/live/796


探秘独角兽背后的大数据力量(众安保险、亲宝宝、中金易云、蚂蚁金服)

视频介绍:来自众安保险、亲宝宝、中金易云的大数据负责人以及蚂蚁金服的数据技术专家为现场以及线上的企业和开发者们带来了精彩细致的分享。

https://yq.aliyun.com/live/643



衣二三基于MaxCompute构建智能化运营工具

视频介绍:衣二三网络技术有限公司CTO程异丁先生出席了本次大数据计算专场的分享,作为亚洲最大的共享时装月租平台,衣二三基于MaxCompute构建起个性化、智能化运营工具,用于用户和商品的运营,完成了精准的商品分析和采购指导,在业务上实现了选衣页推荐点击率提升70%,相关单品推荐点击率提升150%,人均点击数提升110%。

http://cloud.video.taobao.com/play/u/2605255438/p/1/e/6/t/1/218223701843.mp4


ofo在MaxCompute平台的大数据开发之路

视频介绍:深入介绍ofo是如何站在MaxCompute这个巨人的肩膀上,游刃有余的处理千万辆共享单车的大数据问题。

https://edu.aliyun.com/lesson_1010_8792?spm=5176.10731542.0.0.iCHgqS#_8792

 

基于MaxCompute构建Noxmobi全球化精准营销系统

视频介绍:Nox夜神成立于2015年,2016年开始进入广告行业并主打Noxmobi广告平台,专注于全球化的泛娱乐精准营销领域,目前发展迅速,并在业界拥有良好口碑。Noxmobi在营销技术方面已经有一定积累,依托于阿里云的各种云服务,自建了业界领先的DSP、SSP、ADX等广告系统。其中最重要的底层数据建设,依托于MaxCompute,本次分享将主要分享MaxCompute在ETL、特征工程、数据挖掘等方面的应用。

https://edu.aliyun.com/lesson_1010_8791?spm=5176.10731542.0.0.xaTjgA#_8791

 

MaxCompute在阿里妈妈数字化营销解决方案上的典型应用

视频介绍:阿里妈妈是阿里巴巴集团内部最大的MaxCompute用户,承载着“让天下没有难做的营销”的使命。本次技术沙龙会从应用和管理优化两个方面来介绍阿里妈妈在搜索广告、定向广告、达摩盘、报表和BI分析等常见场景下是如何使用MaxCompute的。

https://edu.aliyun.com/lesson_1010_8790?spm=5176.10731542.0.0.ai7H6J#_8790

   

 

佰腾科技的专利大数据的云上裂变之路

视频介绍:来自明源云的刘峥分享了整个的地产行业的趋势以及探索应用实践。他主要从行业趋势和应用实践两个方面进行了分享。他详细的分享了数据管理平台DMP平台的基础层、画像层、算法层、展示层的架构设计,并通过应用场景诠释了大数据在地产行业的作用。

http://yq.aliyun.com/webinar/play/195

 

用大数据打造你的变美频道-小红唇

视频介绍:来自小红唇的王洋分享了数加平台上小红唇的大数据实践。他对数据仓储解决方案和搜索引擎进行了详细介绍。通过算法平台应用的基于视频元信息的回归、近义词、业务总线三个案例具体介绍了数加平台的大数据应用实践。

http://yq.aliyun.com/webinar/play/196

 

上海云贝网络科技:云上大数据,零售新思维

视频介绍:来自上海云贝网络科技有限公司的 首席架构师-刘立兼 分享了基于阿里云产品,如何构建一个大数据系统,以及系统如何在实际的业务过程中帮助客户提升价值。他主要从客户价值、产品线、服务、数据中心、基础设施、数据采集服务六个方面进行了实践分享。

https://yq.aliyun.com/live/197

 

上海云栖:开启大数据智能时代(轻松筹、收钱吧)

视频介绍:来自轻松筹、收钱吧的大数据负责人为现场以及线上的企业和开发者们带来了精彩细致的分享。

轻松筹 http://cloud.video.taobao.com/play/u/2605255438/p/1/e/6/t/1/218182303300.mp4

收钱吧 http://cloud.video.taobao.com/play/u/2605255438/p/1/e/6/t/1/218179699878.mp4  

上一篇:Apache solr(一).


下一篇:技海无涯:正则表达式相关的知识和技术(2)——算法