混合现实手术规划模拟系统——阿里云资源+MR技术在医疗行业的典型应用

作者:阿里云MVP、北京科云互联科技有限公司副总裁阎雨农

“未来,更希望能够把微乐的这项技术再全省各医疗机构,特别是基层医疗机构的专家们,让他们更早地能够学习,应用这项技术,在日常工作中,让更多得患者能够感受到数字医学发展给他带来得益处。”
——李伟教授(云南省第一人民医院,云南省肾癌诊治转化医学工程技术研究中心教授、主任)

“利用混合现实手术规划模拟系统,在三维重建技术辅助下进行评估的基础上,用混合现实引导技术帮助医生精准切除了肝肿瘤,将肿瘤切除干净,又尽可能保患者肝脏功能不受影响。手术完成后,借助立体直观的三维影像,向患者及家属讲解病情。”
——王峻峰主任(云南省第一人民医院数字医学研究室主任、肝胆外科副主任医师)

科云微乐混合现实手术规划模拟系统
——MR技术+阿里云资源在医疗行业的应用场景

1. 混合现实手术规划模拟系统介绍

混合现实手术规划模拟系统——阿里云资源+MR技术在医疗行业的典型应用

科云微乐混合现实手术规划模拟系统,是一款主要用于外科手术方案规划和模拟的现代医学影像控制系统,以及与之配套的云服务平台和数据服务的总称。借助三维图像技术、混合现实技术、人机交互技术等一系列前沿计算机科技,将患者身体的各个组织、器官,以直观、准确的可视化三维图形呈现在混合现实设备中,并提供了一系列数字模拟工具,使手术医生可以在此数据的基础上,对即将进行的手术进行模拟,从而更好的制定手术方案并与他人交流沟通,大大提高手术成功率,降低手术风险,搭建医患沟通理解的桥梁。

1.1 核心功能及流程
平台由医生平台、运营平台、客户端接口三个部分组成。医生平台主要用于医生上传影像数据;运营平台主要用于运营人员处理影像数据并生成三维模型;客户端接口主要用于医生下载模型和查看病历。平台服务流程如下图:

混合现实手术规划模拟系统——阿里云资源+MR技术在医疗行业的典型应用

流程说明
1:可以通过打开浏览器输入网址或点击MR客户端按钮进入医生后台。
2:填写影像资料,主要填写病人病历,以便医生在MR客户端进行手术规划时查看;医生选择必要的影像文件,压缩成zip包,上传服务器。
3:医生上传影像及资料会保存到服务器的公用数据库和文件夹中,系统会提醒运营人员有影像资料需要处理。
4、5、6、7、8:运营人员登录运营后台,验证影像资料和文件的完整性,如果有欠缺,运营人员则拒绝本次服务并以系统信息的方式通知医生,一旦资料完整,运营人员则下载影像数据并进行处理,用三维重构软件生成三维模型,然后上传服务器,填写必要的模型资料后发布模型。
10、11、12、13:医生通过MR客户端登录系统,则会看到自己账号下的三维模型,可以点击模型查看对应的病人病历,同时可以下载模型进行手术规划。

1.2 系统业务架构
混合现实手术规划模拟系统——阿里云资源+MR技术在医疗行业的典型应用

云中心接收各医院科室上传的医学影像平面数据(CT、MRI等),将数据存储、分类标识、数据处理分析和归档,随后医院医生便可直接再将归档后的数据用客户端下载后使用。云中心除了存储医学影像数据之外,还负责收集存档每个病例的病人和病情信息,形成云端医学数据库。
混合现实手术规划模拟系统——阿里云资源+MR技术在医疗行业的典型应用

2. 系统亮点

2.1. 真实患者数据三维重建
混合现实手术规划模拟系统——阿里云资源+MR技术在医疗行业的典型应用

本系统提供的三维数据均为患者真实数据,由医院提供的CT、MRI等平面断层扫描图像序列叠加建模而来,保证数据的客观性和准确性。

2.2. 消除医学影像误差
混合现实手术规划模拟系统——阿里云资源+MR技术在医疗行业的典型应用

以客观科学的技术手段取代传统的主观想象,使术者能够直观的看到患者体内器官组织的立体影像,并对其进行各类模拟操作。计算机生成的可视化三维数据,不仅高度准确,且能够存储和再现,相对于医生的想象和构建患者体内结构,无疑是一种更客观、现代,彻底消除主观误差的科技手段。

2.3. 术前可多次实施操作
可存储和再现的三维数据,可按顺序记录每一次模拟操作,并可回滚操作,使术者可在手术前反复论证手术方案,寻找最有效和安全的治疗方案。

2.4. 解决医患沟通问题
面对医疗知识匮乏的患者和患者家属,沟通和信任问题一直都是医患之间难以跨越的鸿沟,也因此曾导致了很多恶性事件,对医院和医生都造成了很多不必要的物质和精神负担。直观的医疗影像,不仅能在实际医疗中起作用,也能让医生以更直观清晰的方式向患者和家属讲解病情状况和手术方案,让患者和家属更容易理解所采用的治疗手段的重要性和现实条件,从而降低沟通成本和沟通难度。

2.5. 高效新颖的医疗教学手段
因医疗和教育条件及资源有限,外科实习医生和医学院学生的临床手术机会相对较少,而本系统使用的数据均来源于真实的患者病例,因此具有极高的医学教育价值。实习医生和学生可以在资深医生的指导下,直接看到资深医生对于病情的分析过程和手术方案确定过程,提高其学习的效率。同时,数据库中大量的过往病例,在获得相应的许可后,也能够成为临床医学教育及模拟实操的珍贵资源。

3. 系统目标

整个系统已经完成第一阶段的目标:CT、造影等技术获得的影像图片传输到云平台,通过手动的方法建立3D图像输出给主治医生,辅助医生快速查找病原,并能帮助检查可能遗漏的病变部分,通过对手术的模拟,迅速制定手术方案
第二阶段计划通过大量的医学影像数据,经过机器学习训练机器智能读片,导出各种病例的数据特征及图像特征,做图像对比,判断病原并给出病变范围,给出手术模拟过程和手术建议主治医生,供主治医生决策。
整个系统的终极框架如下:

混合现实手术规划模拟系统——阿里云资源+MR技术在医疗行业的典型应用

第一阶段使用的产品如下:
 ECS用于网站、三维重构软件 3D建模
 OSS用于影像存储
 RDS用于病员、病历、病案、医生和工作人员
 Redis用于半结构化影像管理
 MemCache用于缓存

当用户数量到达一定的规模后,还计划使用的产品如下:
 CDN用于加速APP的访问速度
 负载均衡SLB用于ECS集群的负载分担及高可用
 高防IP、云防火墙、态势感知和安骑士用于云平台的安全防护
 MaxCompute和机器学习PAI用于病例分析、特征提取和病例归类
 数据可视化用于病例的直观化统计显示
 图像搜索用于快速检索病例

上一篇:《Unity虚拟现实开发实战》——第1章,第1.4节应用与游戏


下一篇:【设计模式】—— 桥接模式Bridge