2018年上海云栖大会上数据处理的workshop场景里,我们会做一期专题来讲解金融机构里数据报文格式处理,我们知道在金融行业里,不同的机构传输的数据报文格式千差外别,有的是日志格式,有的时候表格格式,有的csv格式,形式各式各样,千变万化的格式给统一处理系统带来不少麻烦,在传统的系统设计里,会涉及到存储报文的磁盘空间、处理服务器以及处理后的报文数据的数据库存储,到了云时代,系统架构发生了很大的变化,从重度的设计到轻量设计,看看使用阿里云的产品是怎么做到的,今天我们结合对象存储、函数计算以及表格存储来讲解整个业务处理过程。金融行业处理数据整体架构图如下:
从架构图上能看出金融机构的数据处理上会分为三个环节,
第一个环节:在线交易环境,例如证券交易,日常存取款,刷卡等消费行为产生的数据会通过金融机构或者合作单位把数据传输给对象存储,对象存储触发函数计算对交易报文进行处理,并按照表格存储的格式分解报文并存储格式化的数据到对象存储或者表格存储中。
第二个环节:线下流水分析,通过网络渠道把访问或者交易流水信息传输到日志服务,对日志进行处理后,并把流水信息格式化好传输给表格存储
第三个环节:线上贷款的风控流程,风控调度系统通过函数计算拉取表格存储的数据进行风控业务查询。表格存储会根据请求数据量去大数据处理获取处理结果。
下面的内容会针对环节一和环节三进行详细步骤和代码演示。
第一个环节:报文格式处理
在线交易里,不同的机构传输报文的格式差距很大,在把交易数据入库之前,需要对报文格式统一处理,下面结合函数计算的处理能力,来完成对报文格式解析并把数据入库。下面按照
开通服务
配置产品
配置对象存储
配置表格存储
配置函数计算
为了能通过web页面访问数据,可以在函数计算上配置HTTP触发器,详细内容界面如下:
编写代码
交易数据入库代码
风控数据入库代码
第三个环节:通过函数计算获取风控信息
获取风控数据代码
获取风控的演示页面
风控查询结果如下:
获取HTTP触发器的对外暴露的URL地址:
附录:
报文数据下载、交易代码下载、风控代码下载、获取风控代码下载、html代码下载