与数据科学研究所的跨学科研究产生了一种很有前途的机器学习技术，可以有效地跟踪复杂的手术活动，从而有可能改善患者的治疗效果、安全性和文件记录。

TingYan“Nicholas”Deng是一名主修计算机科学、数学和经济学的三年级学生，他使用类似于控制自动驾驶汽车的算法开发了一种技术，该技术可以分析戴在外科医生脖子上的摄像头拍摄的手术视频。

该项目是与开发伯努瓦Dawant，电气工程教授和计算机科学与主任的外科手术和工程范德比尔特研究所和亚历山大Langerman，耳鼻咽喉-头颈外科的副教授，和2020年的虎钳医师在住所。

“视频是手术室里发生的事情的最终客观记录，”兰格曼说。“如果患者需要第二次手术，外科医生可以准确地看到第一次手术期间发生的情况。从更大的角度考虑，手术视频可以确定提高外科医生绩效的方法以及影响患者结果的因素。我们只需要确保我们捕捉到了正确的东西。”

邓的工作进一步改进了手术视频：确保摄像机始终对准正确的位置。

文章“使用掩模R-CNN自动检测开放颈部手术视频中的手术伤口”发表在光光学仪器工程师协会会议论文集上。这项工作是第一个已知的使用第一人称视频片段进行开放式手术伤口检测的演示。

邓在手术视频上训练了一种名为“maskR-CNN”的算法，以分割和跟踪手术伤口，同时不受许多手、仪器和材料的干扰，这些手、仪器和材料不断改变光线条件并遮挡视野。这种持续的活动使应用maskR-CNN成为一项困难且技术含量高的挑战。在处理了一千多张图像后，maskR-CNN可以量化伤口、外科医生的手和手术器械之间的相对距离和运动。

“对于使用相对较少的视频，该算法的表现非常好，”兰格曼说。“我相信我们正在开发一种高度可靠的技术来检测开放手术领域的关键元素。”

“这次合作有非常有趣的组成部分。在开发maskR-CNN的过程中，TingYan带来了他的创造性和坚定的态度，”Dawant说。“我们对这项工作的发展方向持乐观态度。”

从2020年1月开始这项工作，邓在机器学习和深度学习技术方面没有太多经验。他觉得他在数据科学研究所举办的研讨会上对计算机科学有了更具体的认识，并且能够应用这些课程来学习其他算法结构。从这次经历中，邓对攻读数据科学研究生学位产生了兴趣。

“这个项目最酷的部分是它的跨学科性质，”邓说。“处理医学图像并不容易，因为大多数图像都不是公开可用的。我很高兴参与这样一个独特的项目，为手术带来创新的驱动算法。”

邓的研究得到了VISE的支持。他正在撰写两篇学术论文：一篇将maskR-CNN结果和方法与现有方法进行比较，另一篇是关于跟踪手术器械的第二种对象检测算法。今年夏天，邓将通过VISE奖学金继续他的工作。