人们对更真实更新颖体验的爱好,似乎早就烙印在基因当中,并没什么道理可言。3D成像技术的成熟,拉开了二维向三维升级的帷幕,有望带动光学创新大革命,带给人类医疗技术的全新升级。
日前,日本宇都宫大学科研人员研发出一种全新的3D成像技术,通过飞秒(femtosecond)激光脉冲的多光子吸收技术,在液态立体屏幕中形成微型气泡,这类气泡能被固定在指定位置呈现立体图像。
研究人员表示,该技术未来将帮助医生在术前观察患者全息解剖图像信息,同时也能在建筑领域实现建筑和地形剖析图研究。此项技术的详细成果已发布在近期出版的高影响力光学杂志《OptiCA》上。
3D成像技术通过对物体进行三维扫描、电脑建模和渲染后,即可通过镜片、虚拟头盔等媒介呈现出三维虚拟图像。相比平面投影成像,3D成像技术能呈现更全面的物体,与三维成像产生交互体验,这也是不少增强现实企业着力开发3D成像技术的原因之一。
随着技术逐步成熟,3D成像技术已被广泛应用于娱乐、制造、医疗和建筑等领域。医疗和消费电子是3D成像技术需求快速增长的两大领域。在医疗领域,3D成像技术能为医生实现3D全息人体器官可视化,解决复杂的诊断问题。
动脉网(微信:vcbeat)将首次带你进入物理学家Larry Smarr的3D世界,一同体验其对自己进行结肠手术的全过程。
手术室中鲜有使用3D技术!
Larry Smarr在加州大学圣迭戈分校向人们展示了其肠道内的详细状况
在与Larry Smarr长久相处后,你会有幸受邀到加利福尼亚州的拉荷亚市参观他的结肠。
超过一百万的美国人患有炎症性肠病,Smarr也是其中一员。但与大多数人不同,Smarr还运营着一家掌握前沿科技的研究机构。该研究机构拥有许多超级计算机,大批的图形破解程序员,高耸的数字显示屏幕墙以及神秘的洞穴状自动虚拟系统(VR cave),这一切为Smarr研发其个人版本的数字3D技术提供了更好的支持,该数字3D版本被其称为“透明的Larry”。该版本的神奇之处在于其对结肠进行了完美的复制,包括肠道的每个角落,缝隙以及发炎的组织。
69岁的Smarr是一位物理学家,因致力于创建全国范围的校园超级计算机网络而被广泛知晓,该网络最终演变成今天的互联网。现在,他运营着一家名为Calit2的未来研究所。
动脉网了解到,该研究所位于加州大学圣地亚哥分校和欧文分校,致力于促进包括医学研究在内的许多领域的研究工作。在过去的十年里,他一直把技术运用在自己身上,用来确定个人隐私方面的数据,对于该试验会产生什么样的结果,他还未知。
但是当他的健康状况开始恶化,并且需要动手术时,Smarr看到了一个绝佳的机会,他要将其储存的大数据和先进的视觉效果加入手术室急需升级的软件中。
他希望他的研究所能在未来几年中,致力于研发手术中使用的自动化3D成像软件。
“我想,我比我的外科医生更了解自己内脏的情况,情况不妙。”LARRY SMARR表示。
去年11月份,在他手术开始的前几天,他拿自己做试验。当时他邀请他的手术医生Sonia Ramamoorthy来参观他研究所的洞穴状自动虚拟系统(VR cave)。
“我想,我比我的外科医生更了解自己内脏的情况,”他说,“它确实情况不妙。”
对于Smarr略显奇怪的邀请,Ramamoorthy并不感到吃惊,因为她和Smarr的关系一直就很特殊。“与我以往看诊过的病人不同,”她表示,“他带着一个PPT来看病。”
事实证明,Smarr发现当今现代化的手术室中也存在缺陷:即便是在大多数简单视频游戏中运用的计算机3D成像技术,对于医生来说也无法使用,尽管该技术可以检测到影响手术的结构变化。
加州大学圣地亚哥分校的J?RGEN SCHULZE提供了Larry Smarr病变结肠(绿色)的三维动画模型,以及脊柱(白色),脊椎盘(黄色),主要血管(蓝色和红色),膀胱(浅蓝色),脾(品红色)的三维动画模型。
当可以利用3D成像技术时,Eric Wickstrom表示“外科医生很喜欢” 。他是费城托马斯杰斐逊大学医学院的生物化学和分子生物学教授。十多年来,他一直致力于开发用于癌症手术的3D成像技术,并在2013年发出版了研究成果,其中显示外科医生认为3D成像技术大有裨益。
“外科医生们纷纷表示‘我们遇到的最大问题是在没有预料到的血管上进行开刀’。”Wickstrom说道。
但是Wickstorm表示,手术室中鲜有使用3D技术的,因为其太耗时,需要利用病人成堆的常规2D图片来创建逼真的图像。他表示,这个过程需要有更多的研究工作和程序员来支持,从而提高其自动化程度和速度。
Smarr的3D模型经历了多年的演进,虚拟现实专家Jürgen Schulze为此付出了大大量的辛勤工作:首先,他要通过一堆2D核磁共振(MRI)影像来给每个器官建模。然后,他将这些模型进行组合,创建一个适合在普通计算机显示器上查看的3D模型。此步骤的关键是要实现自动化,从而使得这类图像的日常使用更容易,更便宜。
一位外科医生参观“洞穴状”自动虚拟系统
当Ramamoorthy走进黑暗的洞穴,戴上一副3D眼镜时,她惊呆了。腹部区域的成像滞后于其他区域,因为该部位有许多密度不同的器官,并且腹部会随着肠肌肉的每次呼吸和收缩而移动。
Ramamoorthy很快看到了一个“禁飞区”,Smarr发了炎的结肠搭在膀胱上面。借助于手术工具的开口,尿液可以流进腹腔(所幸二者没有碰到一起)。她还注意到,Smarr的大肠增长得比预期多,并和他的脾脏粘在一起。作为一名经验丰富的外科医生,她立刻明白要改变手术计划,手术室中需要那些3D图像。
“2D影像的作用没用那么大,无法让我从3D的角度来思考,” Ramamoorthy表示。有了3D影像,她可以预先看到肠内状况,并且甚至可以在虚拟现实中穿梭。她表示“对我来说这就像是一个新鲜的糖果店。”但是当Ramamoorthy问Schulze是否会把3D影像引入手术室时,他感到不安。“我晕血。”他说。
最终,Schulze还是同意去手术室。
“他真是勇气可嘉。”Smarr表示。
手术的前一天,Schulze在手术室里摆弄着电缆,尝试能否将其手提电脑与手术机器人相连接,并且能否将影像投影在雅各布医疗中心的显示器上。该医疗中心造价9.43亿美元,在Smarr的手术前数天开业。新的手术室可以进行激光治疗,机器人治疗和核磁共振,似乎是先锋成像技术运用的理想之地。
手术室的一切正常。当Ramamoorthy给Smarr的身体固定四臂达芬奇手术机器人时,其他人在手术室里目不转睛地盯着墙上85英寸的显示屏。显示屏上的图像被划为四格,分别显示Smarr的3D虚拟结肠、核磁共振影像、机器人手臂上方进入他腹腔的影像以及结肠内部的近距离影像,该影像同样来自手术机器人。
“看着我十几岁的儿子们和他们的Xbox游戏机,所有的技术都在那里面,但为什么不能用在病人身上呢?”SONIA RAMAMOORTHY医生表示。
“VR影像看起来像是星际飞船。”Smarr表示。Ramamoorthy将可视化技术比作在谷歌地图的导航下开车。她表示,“你知道你所在的位置,离目的地还有多远,以及前方是否有交通事故”,而不是只知道你可能在哪里。
尖端的3D成像技术总会成为该医院医生讨论的话题。现在,Ramamoorthy有机会将其在一名患者身上使用,她一直希望也能给其他的患者使用该技术,特别是在更复杂的手术中。
“看着我十几岁的儿子们和他们的Xbox游戏机,所有的技术都在那里面,但为什么不能用在病人身上呢?”她表示。
Smarr对他身上的72处数据采集点进行了跟踪,搜集了健康数据,并将其展现于他研究所里的显示屏墙上。该墙由32块显示器构成
一位懒人发现了甘蓝
大约在二十年前,Smarr开始痴迷于研究一切关于他身体的东西,最初是饮食。
Smarr在伊利诺伊州呆了二十年,在那里他负责国家超级计算机应用中心的建立,随后在2000年,他加入了UCSD(加州大学圣地亚哥分校)。他来到海边的校园时,身材肥胖,体重超标,并惊讶于周围人们的健康生活方式。
“我以前从来没吃过甘蓝,”他说。“但是我害怕学校会送我回来。”于是Smarr赶紧找了私人教练,采用区域减肥法,并开始服用营养补充剂。
Smarr减了30磅的体重,将身体的1/6重量变成了线条。但他仍然把他的旧驾照放在他的钱包里,以此提醒自己他以前的样子。没有人会轻易地选择做任何事情。Smarr想知道他服用的鱼油胶囊的数量是否是最合适的,所以他开始进行血液检测。随后,他开始对他所能收集到的所有数据上瘾了。他想要的数据越来越多。
“我看着医院,说道‘这些医生是怎么了?’” LARRY SMARR说。
他表示,“这就像一件毛衣上松开的线头,我只是不停的拽它。”他也遇到了许多难题:他要与那些告诉他不要自己验血的医生来抗争,而那些医生也不会给他验血,“他们说血检费用不能通过保险报销,血检是预防性的。”他自费做血检,据估计仅这一项他就花了数万美元。“我们总是说医疗要以患者为中心,但是我们还有很长的路要走” 他表示。
2005年,虽然他感觉良好,但是他的血检报告显示他的健康出了问题。他的C-反应蛋白(CRP)含量是健康上限的5倍,然后变成了15倍。“我不知道CRP是什么,所以我去PubMed中查询,并且用谷歌搜索。” Smarr表示,他虽然没有受过生物医学方面的培训,但曾给国家卫生研究院的几位主任做过顾问。他知道CRP是炎症通用的一种测量法。检测结果显示他的身体出了问题,但他不知道出了什么问题。
Smarr并没有认为他的结肠会出问题,因为他2005的结肠镜检查结果显示为正常。原来是因为他的疾病在许多方面是非典型的。他的病症是晚发型的,因此他的医生不期望他这种年龄的患者给肠子开刀,因为那样会使肠道伤痕累累,而且肠道的损伤处仅局限在结肠的一小部分上。
当CRP水平在2008年再次暴升后,Smarr去找了他的医生。曾是天体物理学家的Smarr表示,他立刻被送回了家。“他们问我,‘你有哪些症状?’我说,‘我手上有检测数据!’如果我发现天上有类似的情况,我会将所有的望远镜都瞄准它!他们却说,‘等你有了症状后再过来。’”
腹部的剧烈疼痛不久后便出现了。“这完全是可以预见的,”Smarr叹气表示。“我看着医院,说道‘这些医生是怎么了?’”服用了10天的抗生素后,疼痛得到了缓解,但他的CRP水平却没有完全得到控制。
他感到不安,决定看看他从23andMe网站得到的基因数据(他也是该网站的早期使用者)。他找到了一个SNP(基因组上单个核苷酸的变异),或者说遗传变异,表明他携带克隆氏病的风险增加了80%,可能会偶然发作。
对数据有着异常的痴迷
2011年,他的CRP水平变得很糟糕,因此他开始收集粪便来分析,他对粪便做了90次检测,每次的费用为375美元,并且检测仍然在进行(千万不要打开他的冰箱)。
“如果我没有在10至15年前这么做的话,那我就错了。” LARRY SMARR表示。
Smarr的骨子里还是个计算机科学家,痴迷于粪便的研究,因为粪便包含了太多的数据,其中包括有关免疫系统和肠道健康的指示。“一克粪便中有十亿个细菌,每个细菌有五百万个DNA碱基,”他表示。“在我眼中它就像一个磁盘驱动器。”
到2011年中期,粪便的分析结果显示,他的乳铁蛋白的水平是正常上限的125倍,该蛋白与炎症性肠病有关。到2011年底,他的CRP水平已经达到健康极限的27倍。
结肠镜检查显示他的结肠壁要比正常情况下要厚,这是由于其自身免疫系统免疫造成的。
在Calit2,Smarr可以在数字显示墙上以图表的形式展示十年来他的健康数据——胆固醇,葡萄糖,胰岛素,维生素D,CRP等,这些是他跟踪的72个参数中的一部分,该数字显示墙由32块高清屏幕组成。“这就是我,我的身体”,Smarr表示。
当他意识到相同的技术无法被大多数人所采用时,他深刻的体会到,消费者应该将健康掌握在自己的手中,要在自己身上寻找数据。
一个有争议的观点是:许多医生认为,健康的人定期做血检弊大于利。
检测能出现假阳性的结果,毕竟,反复的检测会让人产生焦虑感,同时也使得医疗费用上涨。虽然事实证明,Smarr关注其自身的CRP水平是一件很正确的事情,但是在许多情况下,检测结果的异常仅仅是异常而已,并不一定表示健康亮了红灯。如果患者要根据检测结果急于去治疗每种疾病的话,他们要承担的医疗费用不仅会增加,也会给自己带来伤害。治疗不可避免地有副作用。
鉴于这些风险,普通内科学会甚至不建议健康的成人每年都接受体检或者是常规实验室检测。
但是,Smarr不认可这种做法。他知道人们认为他有点疯狂,但是他不在乎。“如果我没有在10至15年前这么做的话,”他表示,“那我就错了。”
“我感觉就像个要炸了的气球”
因为痴迷于他搜集的自身疾病的数据,Smarr不想接受治疗。“我不想弄乱这些漂亮的时间序列。”他表示。
对于他,咬着牙忍痛收集数据并不陌生。有次,他患上了严重的肺炎,却仍然整晚地在新墨西哥州的甚大阵射电望远镜下工作,不放弃宝贵的观察时间。“我是一个科学家,”他说,“为了获得数据,你要做你必须做的事。”
但是在2012年,腹胀和直肠出血的情况愈演愈烈,Smarr决定放弃数据收集。“虽然我致力于数据的获取,但是我并不蠢。”他表示。
他服用了疗程为一个月的抗生素和类胆固醇药物。他的CRP下降到1.3,这个水平是相对正常的,但他仍希望看到它变得更低。他注意到,随着CRP水平的降低他的症状并没有减轻,这很奇怪。
2016年,他进行了全身的断层(CAT)扫描,包括虚拟结肠镜检查,Smarr笑着说道,“他们从后面给你充气。”结果显示,某些地方肠壁过厚,而内腔或者结肠内部只有几毫米宽。确实太窄了,即便是儿科的结肠镜检查工具也无法通过。肠道有一部分出现异常扭结,粪便被堵在里面,产生甲烷气体。
“我的妻子说,‘哦天呐,你看起来像怀孕了。’”Smarr表示。“我感觉就像一个要炸了的气球。”
是该要做手术了。
2016年11月,根据3D影像,Sonia Ramamoorthy医生给Smarr做了结肠手术,手术持续了五个小时
未来手术中心主任Santiago Horgan医生在手术室的大屏幕上指出Smarr结肠需要关注的地方
切除“魔鬼的孩子”
借助于虚拟预览,Smarr的手术进行很顺利。Ramamoorthy利用机器人对发炎的结肠进行了切除和灼烧,将肠道接起来并重新打开了内腔。随后,Ramamoorthy取出了两大块丑陋的红色组织,Smarr称之为“魔鬼的孩子”。
VR专家Schulze感到庆幸,整个手术没有出现太多的血液,他见证了手术的全部过程。Smarr只失血15毫升,和一般的抽血量差不多。
3D成像的一个显著好处是让外科手术的时间变得更短,这通常会给患者带来更好的结果。Ramamoorthy估计,因为提前知道了预期的结果,五个小时的手术至少节省了30分钟,她将固定在Smarr身上的机器人安放在比以往更高的位置上,来处理他粘结的脾脏,这一过程又节省了45分钟。
Smarr术后恢复很快。但是作为一名患者,他很不寻常。
苏醒过后的数个小时,Smarr又开始收集数据了。他拼命地想要跟踪他术后CRP水平,以此来观察该手术如何影响他的身体。但护士告诉他,医生还没有批准进行CRP检测。Smarr拒绝让护士对他采血,除非他找到准许他和其他人一样进行CRP检测的医生。
Smarr展示了他肠道中的详细的多维图像
“他们以为我是个傻子,是个有问题的患者。”他表示。除了整齐的数据点,Smarr认为CRP检测应该是所有术后的常规检测,来检测诸如脓毒症这样的疾病。“这只是花费15万美元手术后的一个费用为11美元的血液检测,”他表示。
他如愿以偿,看着他的CRP水平在未来的几天中,从61降到42,再降到30,最后降到1以下,这是他十多年来CRP水平首次在1以下。动脉网发现,他还混入了Fitbit公司,这让职员们大跌眼镜,他的一组同事们在他的腹部下方装上了电极,希望能探测到他的结肠再次蠕动的瞬间。
Smarr现在完全康复了,他并没有放缓工作的迹象。
“你想抓住我的结肠吗?”Larry smarr表示。
他的目标是研发出能自动创建出器官3D影像的软件,他认为图形影像公司可以在三到五年内使用这样的软件。他还认为他的研究所可以在培训新一代的医学成像VR专家方面发挥作用。
现在,他为那些对3D成像感兴趣的医生提供展示其身体的数字之旅,有时他们会与Ramamoorthy一起讨论3D成像技术的魔力。
“你想抓住我的结肠吗?”当他把3D打印的结肠拿出来时他会问道。
只要有机会,他总要赞美Ramamoorthy的医术。“我喜欢我的新肠子,它太棒了。”在最近的一次病例研讨会上,他表示。
我们或许记不得自己看过的第一部3D电影是什么,但《Avatar》里神奇的世界,冰河世纪中栩栩如生的猛犸象和小松鼠跳跃的场景或许印象更为深刻。我想,3D技术发展到今时今日,应该不会再被认为只是为人们带来视觉上短暂新鲜感的一件玩具而已。科技随着时代不断加快脚步飞跃的今天,不论多么难以想象的创新,终究要回归到人本的需求。
尽管3D成像技术还没有大量应用于医疗,甚至是医疗手术当中,即便投影技术还无法完全进入人们的家庭生活,我想,某天远离医院的我们在家中就能得到医生的远程治疗,通过三维成像技术和医生面对面交谈自如,人和人的情感必然会无限接近,而科技则也将与我们的生活密不可分,如氧气一般与人类共同呼吸。这样的场景,也许并不遥远。Smarr努力尝试做的事情,也终将成为改变人类生活的一部分。
- 摄像头、指纹识别、DS18B20、l298n四个模块结合起来可以做出怎样的创新性的东西?
- [求助]我的仿真器会出现“Someone else is using the port.”
- 占用资源小的简单GUI的实现~~(转)
- DSP调试电机时出现断电。
- 用AD7008构成可程控正弦波信号发生器
- 2553硬件I2C读写24C32的问题
- AN 581: High Definition (HD) Video Reference Design (V2)
- 做一个输入30-100VDC,输出固定DC24V的电源的芯片选型问题
- 在make image时生成了NK.nb0、NK.nb1、........NK.nb14
- 信号线性变换问题