挑战传统数据建模技术 大数据工具成趋势

汹涌而来的大数据浪潮正在改变数据建模技术,包括模式的创建。这个观点在2016年圣地亚哥举办的EDW(企业数据世界)会议上提出,数据专业人员应该及时做出调整,适应形势的变化。

凭借海量数据和不同的数据结构,大数据的冲击也为NoSQL、Hadoop、Spark等带来了新的技术形式。尤其是NoSQL,呼吁在建立数据模型技术上做出改变。

2016年在圣地亚哥举办的EDW(企业数据世界)会议上,一些数据专家建议应该学习一些基本的命令,尤其是涉及到NoSQL数据库的,如MongoDB,Cassandra和Redis,至少要掌握其中的一种。

“没有人天生就掌握NoSQL“,纽约信息提供商LexisNexis的数据架构师Ted Hills如是说。数据建模师应该明白,他们掌握的所有关于逻辑建模的知识仍然是正确的,但他们也应该意识到NoSQL可以提供更丰富的工具箱,使开发者的工作更加便捷。

数据专业人员应该做好准备接受变化,并拥抱大数据工具的新功能,尽管大数据工具使得现有建模方法发生变化。

当数据建模技术遇上schema-on-write

大数据浪潮下,NoSQL的作用是延迟模式创建。数据模式的早期定义是数据质量实践的关键和启动一个项目的先决条件。

数据架构师和InfoAdvisors首席顾问Karen Lopez表示,在开发周期,模式创建可能会进入一个不同的阶段。

“这并不是说我们不关心质量,只是我们不关心模式创建的前期,”她说,这并不意味着要设计成为“非模式化“。相反,他们支持类似于“schema-on-read”的模型。

Hills也表示认同,人们对于NoSQL的热情逐渐缓和,因为他们不知道究竟是什么东西与数据库管理系统发生碰撞。随着初始数据的不断开发,才创建了数据模式。他预计数据建模从一个只是说明性的模式逐渐发展到包括一些描述性的建模。

敏捷性很重要

“现在,数据建模的出现使得一切变得更具描述性,”独立分析师Lakshmi Randall感叹。

NoSQL数据库可能与数据设计风格相关,比如说图形数据库。NoSQL图形数据库可以在许多交互中捕捉信息,例如,网络和客户关系系统。NoSQL图形数据库可以帮助创建一个广泛应用的描述性模型。

Hills强调,设计NoSQL数据库是一种趋势,它使企业和软件开发更加灵活。

设计NoSQL数据库也被认为是提高敏捷性的方法。与传统的建模相比,这种趋势也有许多原则要遵守。例如,项目的运作要围绕交付而进行,以及短暂而频繁的迭代和适度使用预付模式。

敏捷性意味着团队可以将项目划分成更细化的模块,提高完成项目的效率。企业业务的成功与否与每一个步骤息息相关。

Hills表示,数据建模师应该学习敏捷开发,提高工作效率。传统的数据建模过程更倾向于一蹴而就,完成项目的风格与多年形成的习惯密切相关。

在创建模式之前,在NoSQL中存储数据并无大碍。Hills叮嘱数据建模者以更加开放的心态挖掘新技术的价值。不要把新技术、新工具看成是敌人,要把它当成一个突破局限、探索新事物的好机会。

本文转自d1net(转载)

上一篇:ArcGIS Engine 中的绘制与编辑


下一篇:[Android自定义控件] Android Scroller工具类和GestureDetector的简单用法