汇丰银行:为什么机器学习正在加速云计算的采用

金融行业可能是采用云计算技术的更为谨慎的行业之一。但是,对于汇丰银行来说,通过应用程序编程接口(API)分析大量信息和访问机器学习工具的能力已经成为其采用云计算的催化剂。

从本质上讲,银行是数据密集型组织,汇丰银行(世界上最大的银行之一)拥有3700万个客户和数十亿美元的资产,当然也不会例外。

这个具有150年经营历史的银行大约有100PB的信息,这个数字仍在快速增长,因为客户改变了他们的银行经营方式,采用数字互动方法比传统的方法更为有利。

汇丰银行首席架构师大卫·诺特表示:“我们每天都有越来越多的数据要求。而且我们也有更多的机会,银行是数据组织的核心,我们有很多数据可以管理,因此增加了从数据中获得洞察力和价值的需求。”

虽然数据的增长有其好处,让银行了解其业务和客户比以往任何时候都更好,但管理和获取大量信息的可用见解也面临着挑战。诺特表示,机器学习工具将在汇丰银行实现这一目标方面发挥关键作用,并且涉及采用“云计算优先”的分析要求。

诺特说:“正如我们所看到的,机器学习的力量和通过机器学习API的易用性,我们意识到这将是我们未来的巨大组成部分。”

“我们也意识到,在试图做到这一切的前提下,这是我们真正努力服务的一个尝试。”他继续说。“我们没有本地的机器学习能力,我们不会建立一个地面机器学习工程能力,世界上只有这么多人可以做到这一点,但像谷歌公司这样的人很容易从云计算中消费,所以我们可以采用,这将对我们产生巨大的影响。”

概念的云证明

汇丰银行现在正在云计算中运行数据分析和机器学习,与谷歌公司合作完成了一套五个概念验证(PoC)项目。汇丰银行首席信息官达里尔·威斯特今年早些时候透露了谷歌云的试点项目,其次是以反洗钱和风险模拟为重点的工作。威斯特表示,这将有助于汇丰银行成为“更简单,更好,更快捷的组织”,并更快地响应客户需求。

大卫·诺特将报告提交给威斯特,诺特负责整个组织技术设计的选择,领导着不同业务领域的首席架构师团队。他表示,该银行目前正在将数TB的分析数据转移到谷歌云中。

诺特说:“我们非常快地完成了这些概念验证(PoC)。”他补充说,一旦初始项目完成并运行,该银行就会启动一些其他项目。“我们在采用这个用例之后,我们会对所有其他在等的人说,‘你现在可以开始部署’。”他说。

从Hadoop到BigQuery和CloudML

在2011年投资Hadoop之前,该银行多年来一直在运行所有的分析内容,从SQL进入传统的数据仓库。“我们已经建立了大多数人建立的一套大数据和分析功能Hadoop生态系统的各个部分。这涉及到开源和商业技术的混合,我们进行了选择,然后集成在一起,基本上构建了数据湖和分析集群以及所有这些东西”。然而,Hadoop系统有限制,如可扩展性和灵活性。

诺特说:“我们从中获得了一些价值,但说实话,我们很难坚持下去,只需要按照整合新技术所需的步伐来建立技能。无论我们多么努力,总会有新的东西到来,我们想获得机会,但我们不能很快到达那里,真正完成我们之前部署的任务。”该公司的目标是访问机器学习能力,但不需要在内部运行系统。

关于谷歌云,汇丰银行正在使用各种工具。这包括用于数据分析的BigTable和BigQuery,用于事件处理的Dataflow,PubSub,以及一系列谷歌的机器学习API,包括一个用于数据丢失防护的API。

“去年,我们开始与所有的云提供商进行对话,说‘告诉我们你有什么’。”诺特说,“在进行一些对话之后,我们决定在一系列的PoC上与谷歌公司合作,回答三个问题那就是:如果我们为你带来一些大的数据使用案例,他们会工作吗?我们可以做想要做的事情吗?其次,他们是否经济?我们可以至少提供相同的价格,但希望价格比以前更便宜,这更为重要,第三是比较容易,这才是大问题。”诺特表示谷歌公司已经在每个类别上发布。

“那三个的答案是,前两个回答是非常坚定的,第三个回答是非常非常强大的,建立这个东西是非常容易的,基本上是因为我们只是消费了一套已经存在的云基础设施。我们发现,通过使用云计算,我们在此过程中遇到巨大的阻碍,基本上所有专注于从数据中获取价值的人们都是真的开展数据科学或软件工程,而不是基础设施管理和供应和采购和所有这些东西。”

机器学习工具成熟

谷歌公司不是唯一提供机器学习工具的大型云计算提供商,而亚马逊网络服务公司(AWS)和微软Azure公司也提供自己的服务,但诺特发现谷歌公司在这方面有明显的优势。“这是因为他们发明了这个技术。”诺特说。

汇丰银行曾经在其组织内试用了机器学习工具。然而,可用的工具很难管理,而且这些举措的成功是有限的。

“一年到18个月前,确实有一些规模较小的企业向我们销售机器学习解决方案,而且他们是相当的小众,他们很难采用和消费,而需要真正的核心人工智能博士和类似的人才能处理它。”他说。

“我们所看到的不仅仅是在云计算上,而且通常还有其他更多的商业平台,我们已经看到了一个现实,并毫不犹豫地使用*化这个词,这个市场的商业化和工业化实际上会让工程师费心费力。

“因此,与我共事的一位人士说,‘你不必学习如何从头开始学习机器“,你现在必须学习如何使用机器学习。但这是一个更可行的主张。”

人工智能技术

他表示,直接与机器学习系统工作的技术人员的数量目前在“几十”。不过,他表示,汇丰现在认识到有必要在机构内“建立以机器学习为核心竞争力的能力”。Knott预计有机会学习系统知识的员工数量将相当迅速地扩大到数百人。

诺特承认,访问技巧是快速增长的领域的一大挑战。他说:“我们以不同的方式来掌握这些技能,包括培训计划和奖学金。但老实说,这是一个年轻的行业,人工智能和机器学习已经存在了几十年,新一代的机器学习还是很新的,我认为这两者之间有所区别。所以,如果我在谷歌上浏览Fei-FeiLi的机器学习的视频,在世界上这种人才并不多,但幸运的是,我们不需要她在我们的组织上工作,因为谷歌公司可以通过云计算正在将她的研究产品提供给我们。”

多云

与谷歌公司的合作只是汇丰银行的广泛云计算策略的一部分,在大型跨国银行中,这本身就是一件稀罕事。汇丰银行也正在使用微软Azure将部分微软应用程序移至云端,并在开发和测试环境中使用AWS云平台。它还使用软件即服务工具,如OracleFusion金融应用程序。

在此前提下,它将传统系统的组合与更加现代化的虚拟化应用程序相结合。它还使用Pivotal公司的CloudFoundry平台作为服务工具,以进一步将其基础设施自动化交付给开发人员。、

“像任何大型技术组织一样,数十年来我们管理了非常大型和多样化的供应商组合,这是企业技术业务的资产和财富,所以在某些方面管理多个提供类似事情的供应商对我们来说并不陌生,我们长期以来一直管理着这种关系。”

然而,管理多个云供应商却面临一些挑战。“这些厂商提供的云计算有一些具体的细微差别,”他说。“其中之一就是云计算行业尚未完全解决问题,其中之一就是跨云服务和跨服务管理。某些商业服务将取决于一部分来自我们的部分服务,一部分来自我们的云提供商,可能来自多个云提供商,这将会越来越成为一个事实。

当出现问题时,企业需要确保每个人都能快速地出现并发挥其作用。所以通过我们的云计算旅程,例如我们对一些问题采用进行深思熟虑,例如是我们想确保真正了解在早上三点钟发生什么事情,为什么会发生什么,因为它是一直在凌晨三点钟发生。

“除此之外,我不认为我们在采用多云世界方面遇到了巨大的挑战,我相信随着技术和市场的成熟,我们会找到其他的东西,但是目前最重要的是我们如何进行多个云的服务管理。”

未来的计划

汇丰银行现在正在考虑哪些应用工作负载可以转移到云端,但诺特表示,目前大数据和分析计划本身就是一个“大胆的举动”,而“这将使我们忙一段时间”。

他说,“所以我们将从这开始,将会关注所有其他的东西,我们仍然在建立关系,我们仍然看到什么不起作用,这就是我们认为在近期内增加的价值,所以我们先来看看。”

但是,一般来说,他认为越来越多的银行技术在未来将会在云端中运行。“我们肯定会加速进行。”他说,“我想如果你在过去几年关注汇丰银行,就会看到这一点,所以我们可能不会在一年前这样谈论我们如何采用云计算。”

诺特表示,“我看到,我们的同行可能与我们所处的位置相似,因为他们在过去的经,一部分是由成本推动的,云计算往往被视为一种成本游戏。我认为云计算是一个必须投入的成本,但这不是最引人注目的理由。

我们正在寻找能力,我们正在寻求一个巨大的数据和分析能力,以及能够真正地在云端上实现的一些功能,所以我认为如果其他银行想要这样的能力,那么他们将不得不加快他们的进程。”

本文转自d1net(转载)

上一篇:关于“计算机无法访问,您可能没有权限使用网络资源....”的解决方法


下一篇:Java集合类性能分析