查看原文
其他

兼具慧眼与巧手,英伟达联合初创打造全能手术融合系统

药明康德AI 2019-12-05

药明康德AI/报道


说起英伟达(NVIDIA)这家公司,他们在人工智能领域取得的成果累积是有目共睹的。在擅长领域取得一定积累后,专注于底层算力的英伟达开始思考上层应用的方向,英伟达创始人兼首席执行官黄仁勋先生曾表示:人工智能的第一阶段,是开发自动化编程的软件;第二阶段,是将软件应用于行业的自动化,这种自动化带来的效率提升会刺激原有的市场;第三阶段,是AI走出计算机,影响外部的世界。
 
按照上述定义,目前AI正在发展至第二阶段。我们此前也报道过许多AI与生物医药领域交叉研究进展,相信大家也十分熟悉,当熟知的领域再加一点智能进去,那么一些困惑已久的问题能在多大程度上被解决呢?


加一点,再加一点智能
 
如果说人类看到的世界是五彩的,计算机看到的世界是虚像的“0”和“1”,那么融合人类和计算机视觉(Computer Vision, CV)的前沿技术会给人们带来哪种不一样的色彩呢?关于融合人类和机器的眼,英伟达旗下孵化的一家西雅图初创公司Proprio 是认真的,他们希望融合人机视觉、计算机视觉,为外科医生提供沉浸式高清3D的全面视图。从而打造基于AI、VR、CV技术的尖端手术融合系统。


手术中外科医生不仅要拥有一双巧手,更需要慧眼,这也就是为什么手术显微镜、X光机、手术眼睛等器械有存在的意义,它们能辅助手术更加顺利地进行。但一个问题是,每一个设备都独立存在,不能相互通信或连接;换言之,各装置间互相连接问题尚未很好被解决。虽然借助单个仪器,医生可以对手术进行相对精准的判断,但效率是一个问题,医生往往需要在各类不同功用的手术仪器中不断切换。
 
为解决该痛点,研究人员便将人体视觉和计算机视觉精妙融合,为外科医生提供了身临其境、高清晰3D的全面视角,进而解决各手术仪器尚未被很好连接的问题。研究人员将多个笨重且昂贵的手术设备的功能压缩到由单个光场(Light Field)捕获渲染系统中,使用该技术,可以让虚拟现实原型机模拟出像人类的眼睛那样,基于距离对物体进行聚焦的效果。功能压缩也不会意味着原仪器的作用会被弱化,它们的成像均会被完好保留。在英伟达视觉计算平台(Quadro)GPU的支持下,Proprio公司的融合手术系统成功捕获外科手术现场,并将其与术前影像融合在一起,从而创建交互式3D可视化效果,以供外科医生在术中实时查看使用。


3D成像,手术精度得到提高

图片来源:Pixabay
 
在这项新技术中,Proprio公司使用最新的Quadro RTX 6000 GPU来应对诸如多模态图像渲染和配准、图像校正处理、3D几何重建以及CT图像分割这样的任务。凭借英伟达Quadro视觉平台自身的速度和强大性能,Proprio公司开发了光场相机阵列和图形处理管道,不但可以捕捉手术场景中的任意高清体积的展示,而且还可以在任何地方远程进行放大和重新聚焦。
 
那么Proprio公司的自定义算法又有什么厉害之处呢?该算法以生动的3D形式渲染和传输图像,与手术前CT和MRI扫描融合在一起,并实时更新组合的场景。这相当于将机器学习融合于CT分割、光场阵列校准、深度估计和用户动作分析监测。这项技术更像探寻人体组织的“导航器”。基于该公司的自定义算法,外科医生使用VR头戴设备放大组织,围绕角落并向下到微观水平,这样医生们全程可进行自由流畅的操作,不用担心是否会造成一些术中失误。
 
不例外,Proprio公司的融合手术系统也可以用于培训医学实习生。它能够使人类在虚拟手术环境中熟悉手术场景、手术所需工具仪器、手术技能以及实际模拟手术。在AI“老师”的帮助下,相信这些未来的外科翘楚的手术技艺会更加精湛。

图片来源:Pixabay
 
解决了图像的清晰化操作流畅度以及手术培训的问题,还有一个要解决的便是实现可视化的速度和性能。Proprio将图像渲染从CPU转移到基于GPU的渲染。自从英伟达GPU架构升级之后,该手术系统的各类计算任务的性能都得到不少提高,尤其是三维重建方面,其预估性能提高了3倍。
 
当Proprio自定义算法的优越性与英伟达计算机视觉平台的速度及功率相结合,对于外科医生来说是事半功倍的,这样医生便可以专注于他们最擅长的领域,以最自然的方式进行手术,不会受到任何机器或者不明因素的干扰。
 
目前Proprio公司正与西雅图儿童医院(Seattle Children's Hospital)、华盛顿大学(University of Washington)医学院和其他研究医院的神经外科、整形外科展开多种形式的合作,来进一步验证开发这款手术融合系统的实用性、安全性等。新科技已走入医疗现场,甚至有产业分析“大胆预言”,人工智能和虚拟现实将在10年内,成为医院手术里的日常风景。不过在此之前,我们还是先期待得到有越来越多的外科数据从而验证更多手术系统,以及更多的新技术能连接多种手术仪器。

药明康德AI整理编译
来源:blogs.nvidia

参考资料:
[1] The RealCutting-Edge: Proprio Fuses AI, VR, Computer Vision for Precision in SurgeryRetrieved Oct 28, 2019 from https://blogs.nvidia.com/blog/2019/10/17/proprio-quadro-rtx/

版权说明:欢迎个人转发至朋友圈,谢绝媒体或机构未经授权以任何形式转载至其他平台。转载授权请在「药明康德AI」微信公众号后台回复“转载”,获取转载须知。



更多文章精选


点击图片阅读:恶性肿瘤遇对手,谷歌AI预测甲状腺结节遗传风险初见效

点击图片阅读:细数生物医药领域“灯塔”级AI项目,有望照亮行业发展之路吗?

点击图片阅读:谷歌、亚马逊、Facebook纷纷挑战蛋白质折叠问题,布局新药研发


点“”,分享AI健康新动态 

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存