很早之前我们聊过微软的RoomAlive系统,RoomAlive系统在“出生”没多久就被微软开放了SDK,并且以其为基础研发了HoloLens(当然RoomAlive只是HoloLens的技术原型之一)。
很早之前我们聊过微软的RoomAlive系统,RoomAlive系统在“出生”没多久就被微软开放了SDK,并且以其为基础研发了HoloLens(当然RoomAlive只是HoloLens的技术原型之一)。今天,我们无意之间发现微软还利用RoomAlive系统开发出一套医疗教育系统。那么,我们就来聊聊微软这套AR医疗教育系统。
AR医疗教育系统
视频上传于半个月前,内容是微软社会自然用户界面研究中心联合墨尔本大学利用RoomAlive技术开发的增强现实医疗教育系统。
AR医疗教育系统利用RoomAlive技术将人体骨架模型投影到“患者”(学生扮演)身上,且可以追踪“患者”的运动。
AR医疗教育系统利用RoomAlive技术将人体肌肉模型投影到“患者”身上
“医生”(研究人员扮演)在“患者”身上标注“患处”并讲解
AR医疗教育系统所用设备,投影仪和Kinect。(这在RoomAlive系统里被称为一组“node”,这里用了两组“node”,完整的RoomAlive系统有六组“node”。)
学生利用平板电脑注释实时增强的视频记录,并保存记录,以便于课后复习。
AR医疗教育系统是由两个投影仪和两个Microsoft Kinect传感器组成,基于Unity 3D游戏引擎和RoomAlive SDK开发的软件,利用Kinect追踪身体运动信息,3D解剖模型就能直接投影到移动的人身上。
AR医疗教育系统
开发团队和硬件成本
AR医疗教育系统是由微软社会自然用户界面研究中心联合墨尔本大学开发的,他们的项目被称为“Augmented Studio”。
项目成员
Thuong Hoang
微软社会自然用户界面研究中心和墨尔本大学的研究员。
Frank Vetere
微软社会自然用户界面研究中心主管和墨尔本大学的教授。
Zaher Joukhadar
微软社会自然用户界面研究中心和墨尔本大学的软件工程师。
Martin Reinoso
微软社会自然用户界面研究中心研究员,墨尔本大学的博士。
Louisa Remedios
墨尔本大学物理治疗系副教授。
David Kelly
墨尔本大学物理治疗系讲师。
Egemen Tanin
墨尔本大学计算和信息系统系副教授。
硬件成本
之前我们的分析RoomAlive系统的时候,微软的研究员曾透露过一组“node”的成本在500到800美元;这套AR医疗教育系统用了两组“node”,所以硬件成本应该是1000到1600美元。
注:通过查询他们的发布的《Augmented Studio: Projection Mapping on Moving Body for Physiotherapy Education》论文,他们认为多使用几组“node”的话会有更好的增强现实效果。
AR医疗教育系统
医学生的福音
根据视频中的介绍,我们可以得知他们开发这个项目的原因是——医学生一般都是用二维图来理解肌肉和关节的构造,这需要他们有较强三维分析能力。这套系统通过将动画解剖模型和注释直接投影到患者的身体上,可视化的交互观察能更好地让医学生认识人体解剖和骨骼结构,正好解决了这种抽象教学方式存在的问题。
而在国内,通过和医疗行业人士沟通了解到用于医疗教育的遗体资源一直是比较紧张的。这种遗体资源一般都是来源于死刑犯、无人认领的遗体、捐献这三种方式;教学方式基本上就是通过解剖遗体来进行的(据说在上解剖课之前还要给学生们上一节无神论的课)。针对这种医疗教育资源紧张以及学生心理障碍的情况,这套AR医疗教育系统简直就是医学生的福音啊!
除了以上几种应用,AR医疗教育系统还可以作为一种教学方法来教医学生学会临床推理。传统的临床推理一般就是通过问诊和检查的形式来推断所患病症,这需要医生有较为丰富的经验,一般的医学生只能靠实践来积累经验。
而AR医疗教育系统的出现将改变这种情况。