大数据平台的概述

大数据平台统一管理、集中存储大数据资源，满足高并发，海量数据对高性能计算能力和大容量存储能力的需求，提供数据采集，数据计算，数据存储，数据分析，数据可视化等大量开放能力，确保各系统之间数据的互联互通和共享，为数据的全链条透明化、运营决策的高度智能化提供依据，尽早建立大数据平台具有重要意义。

构建大数据平台的必要性

大数据平台承载所有数据的管理，为上层应用提供数据支撑。传统的开发模式中，各个应用开发独立进行，各自沉淀自己的数据。各个应
用的数据缺乏整合，形成数据孤岛，后续无法沉淀数据资产。同时，因为没有一个统一的大数据平台，各个应用都会有自己的数据存储和计算体系，存在大量的重复建设。
以数据中台为核心的上层智能应用的开发，离不开大数据平台的支持。大数据平台提供统一的数据数据存储，计算能力。上层应用不需要再重复开发，只需要使用数据中台提供的能力。同时，多个上层应用的数据也集中沉淀到一起，形成有效的数据资产。

大数据平台建设

一般来说大数据主要具有以下特征

• 数据海量性
• 数据稀疏性
• 数据复杂性
• 数据丰富性

大数据平台架构一般包含以下组件

• 数据采集
• 数据存储
• 数据计算
• 数据管理
• 数据服务

大数据集成子系统

大数据平台需要提供数据采集能力，完成从传统数据库到大数据平台的数据采集，包含批量采集和基于流处理的实时采集，平台提供如下能力：

• 批量数据采集：大数据平台支持数据批量采集，对于大量、实时性要求不高的数据适宜采用定时执行批量采集。
• 实时数据采集：对于实时性要求较高的数据，支持实时数据采集的方式，保障平台数据及时性。
• 互联网数据采集：互联网的数据采集方式主要以页面文本或文档形式的数据为主，为了兼容不同类型的互联网输入方式，一般先将数据进行流式数据清洗后，再送到搜索引擎或者其他数据库中。

大数据开发子系统

大数据平台需要提供对海量数据汇总后的多种数据并行处理，包括离线的批处理、SQL 处理、以及近实时的内存处理等，大数据平台提供如下数据开发功能，帮助实现数据治理，数据聚合和数据转换，平台提供如下能力：

• 数据查询：数据开发支持各种常用数据库的SQL语句，例如Oracle、MySql、SQLite、PostgreSQL、Hive等等。
• 数据开发编辑器：数据开发编辑器支持常见语言及脚本编辑模式，可以结合实际情况，*选择开发形式，轻松实现数据治理任务开发的模块化、组件化。
• 数据处理工作流配置：在数据开发编辑器中，写好数据处理的任务后，可以将这些任务添加到数据处理工作流中，让这些处理任务按顺序逐个执行，实现数据处理工作流程的自动化。如下图所示，拖动任务类型图标至工作流中即可，所有任务将按照箭头顺序从上到下执行。
• 数据工作流定时执行设置：新增定时任务，选择需要定时执行的工作流，配置工作流运行周期、时区和运行时间区间，即可实现数据处理任务的自动定时执行。