背景
一直以来,分析师会消耗大量的精力来解决业务的取数问题和数据异常分析问题,我要看这个数据->这个数据为什么不符合我的预期->我要怎么改善,一个循环下来,双方都会耗费大量的时间和精力。
智能数据助理由此而生,她是一个智能数据分析机器人,试图将这个过程部分自动化,让分析师从一些简单重复的劳动中解放出来,去做更深入的业务分析,沉淀业务能力,也让业务人员在很多不太复杂的问题上得到更快的反馈。
定义
智能数据助理,以对话交互形式提供多维数据分析、个性化数据展现、数据指标预警、指标因子分析等能力。通过对话就可以开启数据查询分析,简单易用。
架构
整体架构分为三层:
- 数据接入层,通过OLAP引擎以及外部服务接入的方式,智能数据助理目前支持API、RDS、ADB等数据源。
- 服务层,主要包括两部分。一部分是会话管理,通过自然语言多轮对话引导的方式快速获取用户的查询意图,然后路由到不同的查询引擎,再通过OLAP引擎或者外部服务查询,获取到用户想要的数据;另外一部分是消息推送,大部分的数据用户都希望定时获取自己关注的数据,特别是在数据异常的时候,及时获取到数据异常的信息,并且通过因子分析,能够快速获取异常原因的解读。
- 交互层,智能数据助理除了钉钉以外,也提供了H5的形态,也支持以API的方式与第三方IM工具集成。
意图识别
意图识别能力是智能数据助理能够准确理解用户需求的关键。为此,我们构建了一套数据分析领域的业务模型,依据SchemaModel作为知识来对用户的文本输入进行语义解析。SchemaModel结构复杂,且动态变化,意图理解和解析的任务是将用户输入的一个或若干文本信息转化为MDX查询,文本中的实体需要根据实时的Schema内容关联到相应的Cube、维度、指标名称、筛选条件等。SchemaModel是用户意图理解、MDX参数(槽位)解析、映射、交互管理的知识核心。
意图识别模型具有以下特点:
- 对话式数据查询,完整的多轮对话模型
- 字典管理,可以人工干预介入分词不准等情况
- 上下文管理,完整的上下文log记录,以及基于log的分析匹配
- 对话式数据查询,完整的多轮对话模型
为了完成复杂意图的识别,智能数据助理采用了词典 + 句法分析 + 依存树的方式。词典确定映射关系,句法确定相似语句表达结构,依存树词形确定主体,词性确定维度。
功能特性
智能数据助理的核心能力包括:对话式数据分析、数据简报、异常预警、智能分析以及智能洞察。
- 对话式数据分析:基于分析意图模型和多轮对话管理能力,实现灵活便捷的对话式分析请求和丰富数据展现。
- 数据简报:有观点的数据解读。基于Markdown扩展的简报编辑器,支持实时、日周 月等推送周期定制。
- 异常预警:借助智能数据助理的动态预警能力,实现数据找人,将业务数据的异常波动主动推送到相关人或者群,帮助业务部门及时发现问题并采取有效措施。
- 智能分析:数据分析算法化,支持归因、TopN、 维度下钻、时序预测等等算法,以及动态的操作推荐。
- 智能洞察:基于数据集维度指标的统计特征,根据洞察算法生成趋势,波动归因等结果,并自动生成可视化的图表报告,给用户决策提供智能化参考。
效果展示
结尾
智能数据助理目前在阿里云公共云上已经上线,目前在公测中,欢迎有兴趣的同学试用。产品链接
如有问题,您可以通过搜索钉钉群号或者扫描下方二维码加入「智能数据助理答疑群」,我们随时与您保持沟通。
钉钉群号:34576102
钉钉二维码: