本期导读 ：【阿里云 CDP 公开课】第一讲
主题：CDP 产品介绍
讲师：棕泽，阿里云开源大数据生态产品研发负责人
内容框架：
- 阿里云+Cloudera 产品介绍
- 公有云方案：云上 CDP
- 专有云方案：CDP、CDF、CDSW
- 典型场景
直播回放链接：（1讲）
https://developer.aliyun.com/live/247867
一、阿里云+Cloudera 产品介绍
Cloudera 公司简介
- 企业数据云公司 – Cloudera
- 2008年成立，2014年进入中国，肯睿（上海）软件有限公司
- 主要代表产品：CDH，全球最受欢迎的Hadoop发行版，100%开源
- 2019年1月3日，Cloudera 和 Hortonworks 正式合并
- 2021年7月，Cloudera 中国和阿里云正式战略合作
- 公司定位
- 开源和开放标准：Cloudera 一直致力于以社区驱动的基于开放标准的基于 Hadoop 的平台，满足企业对稳定性和可靠性的最高期望
- 企业数据云：专注于企业级安全和治理、多功能数据分析、弹性的云计算体验、消除数据孤岛
- 核心产品：Cloudera Data Platform（CDP），Cloudera Data Flow（CDF）,Cloudera Data Science Workbench(CDSW)
阿里云 +Cloudera大数据方案介绍
Cloudera产品在FORRESTER WAVES中的位置
核心产品 - Cloudera Data Platform（CDP）
CDP摄取CDH和HDP两者的优势
- Cloudera Data Platform（CDP）合并Hortonworks 公司和 Cloudera 公司的最佳技术，提供业界首个企业数据云产品。
- CDP 在混合云和多云环境中可以提供强大的自助服务分析给你，以及IT和数据管理员所需要的复杂性、细粒度的安全与治理策略。
Cloudera最新的许可政策
- 我们的许可政策类似于成熟的Red Hat开源模型。
- 该模型在市场上广为人知，并被全世界的企业所接受。
- 已有产品的许可证将在整个21财年发生变化
- 自2019年11月以来，访问产品的二进制文件需要订阅和paywall credentials
从2019年11月后，Cloudera再发布的产品不再提供社区版（免费版），只有企业版。只有订阅了Cloudera产品，才能下载对应的介质。2021年1月后，扩展的Paywall将包括平台的早期版本。
- 所有产品源均将获得OSI批准的许可证(Apache软件许可证(ASL)或Affero通用公共许可证(AGPL))的许可。
- 访问从Cloudera获得的所有产品的二进制文件和源代码都需要订阅协议
- 由Apache Software Foundation托管的我们为之贡献的所有开源项目将继续是ASF管辖的项目。
- 我们的源代码贡献模型保持不变，并且仍然是第三方项目的第一个上游。 第三方项目存储库的公共资源仅在上游。
Cloudera终止提供开源CDH，产生迁移机会
- 2021年2月1日，停止CDH和HDP的免费下载
- HDP 2.6.x/CDH 5.x覆盖了约70％的客户群，EOS时间2020年12月终止服务
- CDH 6.3： 2022年3月终止服务
售卖形态：基于阿里云如何售卖CDP？
- 公有云：半托管CDP
Cloudera企业数据云是 社区版CDH的全新商业化升级产品，是阿里云和Cloudera联合打造阿里云上的半托管形态的大数据平台。该平台可以灵活地运 行各种企业工作负载(包括实时摄取和分析、批处理、交互式SQL、企业搜索、高级分析和机器学习等)，支持从边缘计算到人工智能的多功能数据 分析，提供企业级的安全模型来包客户数据安全。
- 专有云On-Premise：线下转售三大套件（CDP、CDF、CDSW）
交付模式
二、公有云方案：云上 CDP
基于阿里云部署的CDP
产品核心
- 部署商业版CDP，包括完整的Cloudera Manager及Cloudera Runtime
- 基于多种规格的ECS，开箱即用，支持云上集群扩展能力以及数据湖
- 与阿里云产品集成互通，提供高安全、合规和高可用的云上CDP平台，降低复杂性
- 无需配置的正版软件及正版 license 许可证
产品引擎与服务
- 100% 兼容开源 Hadoop生态，经阿里云与Cloudera联合研发性能优化
- 提供商业化SLA保障与7*24小时 Cloudera 专家支持服务
- 提供专家服务及咨询，如平台迁移、数据迁移、版本升级、参数调优等
一致的安全与治理 - SDX
专为随时随地进行多功能分析而设计
- 安全性：动态细粒度的访问控制始终应用于所有云和数据中心。 包括全栈加密和密钥管理
- 治理：跨平台应用的企业级审计，血缘和治理功能，具有丰富的合作伙伴集成扩展性
- 元数据：利用所有元数据（结构、运营、业务和社交）建立信息资产，以提高可用性、信任度和价值
- 目录：用于管理和使用跨越所有分析和部署的数据资产的单一窗格
- 智能：洞悉平台中如何使用数据、元数据和分析，从而为优化提供建议和自动化
SDX提供
- 通过在所有云和数据中心中一致地应用动态细粒度访问控制实现安全性。 包括全栈加密和密钥管理
- 通过跨平台应用的企业级审计、沿袭和治理功能进行治理，并具有丰富的合作伙伴集成扩展性
- 还有智能，可以洞悉平台中如何使用数据，元数据和分析，从而为优化提供建议和自动化
- 我们从最广泛的意义上利用元数据：不仅是您称为架构的结构类型，而且还包括运营、业务和社交方面的元数据，建立信息资产以提高可用性，信任度和价值
- 最后，SDX提供的数据目录是一个统一的窗格，用于管理和使用涵盖所有分析和部署的数据资产
统一版本（CDP – Cloudera Data Platform）
CDP - 摄取CDH和HDP两者的优势
CDP PVC基础版功能地图
CDP 针对 CDH/HDP 用户的新功能
CDP大数据组件列表
CDP大数据组件列表 – 简化管理的紧密结合的平台
公有云客户：1.2倍成本带来三大收益
三、专有云方案：CDP、CDF、CDSW
CLOUDERA-混合数据云
On-Premise（专有云）整体方案，CDP/CDF/CDSW
ClouderaDATAFLOW – 从边缘到云的实时流数据管理
- 边缘和流管理
利用 ApacheNiFi、ApacheMiNiFi和Cloudera Edge Flow Manager（从边缘到 AI 的流管理）构建从边缘到公共云的可扩展数据流所需的一切。 使您能够从任何地方到任何地方收集、整理和摄取数据。
- 流式消息传递
由 Apache Kafka 提供支持的面向企业和云的企业级消息传递解决方案。 Streams Messaging Manager 用于监控/管理集群，Streams Replication Manager 用于 HA/DR 部署，Kafka Connect 用于集成，Cruise Control 用于管理和平衡 Kafka 集群。
- 流处理和分析
支持多个流处理引擎。ApacheFlink 和 SSB 通过高级窗口和状态管理为您提供有状态、低延迟的流处理功能。
Cloudera Data Science Workbench（CDSW）
CDSW-机器学习：覆盖从边缘到AI的场景
专有云线下客户，弥补CDH三大不足
- 更多组件和更高版本
- CDP新增组件包括Zeppelin，Livy，Phoenix，SMM，Knox，ORC，Ranger和Atlas等等
- 更多的企业管理
- 企业级安全和管理
- CDP的Apache Ranger提供了新的安全功能（动态行过滤和列掩码）。 同时借助ApacheAtlas，CDP改进了数据资产管理功能，帮助企业实现PCI和GDPR标准。
- 更多的企业管理平台集成。
- 版本持续更新更长时间
- EoS时间比较
CDH 6.3： 2022年3月。后续仅有维护版本
CDP 7.1： 2023年5月。产品线持续更新
四、典型场景
为什么选择CDP？
许可证renew+硬件更新的机会
- HDP 2.6.x/CDH 5.x覆盖了约70％的客户群
- 计划到2020年12月成为EoS
- 运行这些软件的客户将需要升级到受支持的版本
阿里云CDP产品客户价值
- 更快、更高效、更安全
- 重大功能增强/性能改进
- 数据工程：Spark3性能提升2倍；支持Nvidia GPU卡，性能再提升3-7倍
- 数据仓库：Impala性能提升2到7倍；新执行引擎Hive on Tez,支持ACID、物化视图，性能提升5倍以上
- 运营数据库：支持SQL和No SQL多种模式，吞吐量性能提高15-20%
- 流处理：完善的集群管理，复制，流量控制
- 安全合规和售后支持
- 基于Ranger提供统一的细粒度访问控制，动态行过滤和列掩码
- 基于Atlas提供完善的元数据、血缘和监管链，高级数据发现和业务词汇表
- 持续修复已报的CVE安全漏洞
- 专家支持服务，快速解决使用问题，用户专注业务
- 不升级的影响
- 旧平台功能/性能/安全受限，无法满足部分应用需求和国家/行业合规性需求
- 没有售后支持，应用无法放心的广泛应用于生产，影响业务创新
- CDP7.1 VS CDH6.3
- 更高版本
CDP的HDFS，Hive，HBase，Spark，Kafka和Solr等组件版本较新
- 更多组件
CDP新增组件包括Zeppelin，Livy，Phoenix，SMM，Knox，ORC，Ranger和Atlas等等
- 更长时间
EoS时间比较
CDH 6.3： 2022年3月。后续仅有维护版本
CDP 7.1： 2023年5月。产品线持续更新
- 安全合规
CDP的Apache Ranger提供了新的安全功能（动态行过滤和列掩码）。 同时借助ApacheAtlas，CDP改进了数据资产管理功能，帮助企业实现PCI和GDPR标准
- 更高扩展
Apache Hadoop Ozone是一个分 布式KV存储，旨在实现数十亿个规 模的文件扩展，远远超过当前 Namenode文件上限(300M) 。同时，Ozone能与HDFS共享数据节点实现无缝迁移
- 更易管理
CM7.1支持在cgroup中直接启用新配置。而在C6中必须重新启动集群才能更新cgroup配置。另外，CDP的ZK新版本修复了与jackson-databind、Jetty、log4j相关的17个安全漏洞
- 新Hive3体验
Hive on Tez提供更好的ETL性能，同时支持ACID，极大简化事务处理,兼容ANSI SQL 2016标准。另外，Data Analytics Studio能够可视化展示HiveSQL对应的DAG分解图
- 新Spark体验
CDP预装Spark 2.4.5，同时支持并行安装Spark3.0。 可以体验Spark SQL自适应执行和动态分区裁剪等功能
- 新的队列管理
CDP的YARNQueue Manager使用Capacity Scheduler，支持GPU、Node Labels、Globalscheduling，同时采取更加灵活的placement Policy
- 多种部署方式：支持公有云/本地部署，混合云/多云部署
CDP公有云应用场景
现代数据库
运营数据库
准实时分析
流式处理和分析
升级现有集群
选项A
步骤1：将现有集群升级到CDP PVC Base，从而基于现有数据创建SDX环境
步骤2：安装CDP私有云并使用“体验”构建新应用程序
步骤3：使用工作负载管理器将关键工作负载从CDP数据中心版群集智能迁移到CDP私有云体验
选项B
步骤1：在新硬件上安装CDP数据中心，并使用Replication Manager从现有群集中复制数据、元数据和策略以创建SDX环境
步骤2：安装CDP私有云并使用“体验”构建新应用程序
步骤3：使用工作负载管理器将关键工作负载从CDH/HDP集群智能迁移到CDP私有云体验
⭐点击回放链接，直接观看视频回放~
https://developer.aliyun.com/live/247867
点击链接参与阿里云CDP限时免费测试啦~
https://survey.aliyun.com/apps/zhiliao/owtTaIQU3
钉钉扫描下方二维码加入阿里云 Cloudera 企业数据云交流群一起参与讨论吧！