大数据架构是用以提取和处理海量数据(一般称之为“大数据”)的整体系统，因而能够针对业务目的进行分析整理。该架构可视作基于机构业务需求的大数据解决方案的蓝图。

大数据架构旨在处理下列类别的业务：

•批量处理大数据源。

•实时处理大数据。

•分析预测和机器学习。

大数据架构的好处

可用以分析的数据量每日都在增长。并且，流媒体资源比过去更多，其中包括流量传感器、健康传感器、事务日志和活动日志中提供的数据。但拥有数据仅是业务成功的一半。公司还必须能够理解数据，并及时应用它来影响重要决策。应用大数据架构能够帮助公司减少财力并做出重要决策，其中包括：

•控制成本。在存储大批量数据时，Hadoop和基于云计算的分析等大数据技术能够明显地节省成本。

•做出更快、更好的决策。应用大数据架构的流组件，公司能够及时做出决策。

•预测未来需求并建立新品。大数据能够协助公司考量客户需求并使用预测分析未来发展趋势。

大数据架构的挑战

假如做得好，大数据架构能够为公司节约资金，并协助分折关键的趋势，但它并不是沒有挑战。在处理大数据时，必须留意下列问题：

(1)数据质量

不论什么时候使用各种数据源，数据质量都是一项挑战。这代表着公司需要做的工作是保障数据格式匹配，而且沒有重复数据或缺失数据将会使分析不可信。公司需要先分析和准备数据，随后才能将其与其它数据一同开展分析。

(2)扩展

大数据的价值在于其数目。可是，这也将会变成一个关键难题。假如公司并未设计架构以进行扩展，则或者会很快碰到问题。最先，假如公司不计划支持基础建设，那样支持基础设施的成本就会增多。这将会会给公司的预决算产生负担。另一方面，假如公司不准备进行扩展，那样其性能将会会明显下降。这两个问题都应当在构建大数据架构的规划环节取得解决。

(3)安全性

尽管大数据能够为公司提供对数据的深层次了解，但保护这些数据依然有着挑战性。欺诈者和黑客或者对公司的数据十分感兴趣，他们或者会试着添加自己的假造数据或浏览公司的数据以获得敏感信息。互联网犯罪嫌疑人能够制做数据并将其导入其数据湖。比如，假定公司追踪网页单击频次以发觉流量中的不正常模式，并在其网页上搜索犯罪活动，互联网犯罪嫌疑人能够渗透公司的系统，在公司的大数据中能够寻找大批量的敏感信息，假如公司沒有保护周围环境，加密数据并努力匿名化数据以清除敏感信息的话，互联网犯罪嫌疑人可能会发掘其数据以获得这些信息。

大数据架构因企业的基础设施和需求而异，但一般包括以下组件：

•数据源。所有大数据架构都从源代码开始。这可以包含来源于数据库的数据、来自实时源(如物联网设备)的数据，及其从应用程序(如Windows日志)生成的静态文件。

•实时消息接收。假如有实时源，则需要在架构中构建一种机制来摄入数据。

•数据存储。公司需要存储将通过大数据架构处理的数据。一般而言，数据将存储在数据湖中，这是一个可以轻松扩展的大型非结构化数据库。

•批处理和实时处理的组合。公司需要同时处理实时数据和静态数据，因而应在大数据架构中内置批量和实时处理的组合。这是由于能够应用批处理有效地处理大批量数据，而实时数据需要立刻处理才能够带来价值。批处理涉及到长期运转的作业，用于筛选、聚合和准备数据开展分析。

•分析数据存储。准备好要分析的数据后，需要将它们放到一个位置，便于对整个数据集开展分析。分析数据储存的必要性在于，公司的全部数据都聚集在一个位置，因而其分析将是全面的，而且针对分析而非事务进行了优化。这可能采用基于云计算的数据仓库或关系数据库的形式，具体取决于公司的需求。

•分析或报告工具。在摄入和处理各类数据源之后，公司需要包含一个分析数据的工具。一般而言，公司将使用BI(商业智能)工具来完成这项工作，而且或者需要数据科学家来探索数据。