数字感知技术在新时代口腔颌面外科教学中的融合创新及应用探索

来源:牙大师 时间:2025/2/18

数字感知技术在新时代口腔颌面外科教学中的融合创新及应用探索

引用本文:马春跃,何悦,阮敏,等.数字感知技术在新时代口腔颌面外科教学中的融合创新及应用探索[J].中国实用口腔科杂志,2025,18(1):75-80. DOI:10.19538/j.kq.2025.01.012

作者姓名:马春跃1,2,3,何 悦2,3,阮 敏2,刘剑楠2,胡镜宙2,3,钮晓音1
基金项目:中华医学会医学教育分会医学教育研究项目(2023B344);2023 年上海高校本科重点教改项目(沪教委高〔2023〕47 号);2024 年度上海市教育科学研究项目(C2024156);2024年海南省自然科学基金(824MS153);上海交通大学本科教学发展基金(CTLD23J0007);上海交通大学本科教学管理研究项目(JXGL23-021);上海交通大学医学院 2023年本科教改重点项目(沪交医教〔2023〕13号);上海交通大学医学院附属第九人民医院“ 交 叉 ”研 究 基 金 项 目(JYJC202414);九 院 教 学 型 医 师 项 目(2024);九院思政教学示范视频项目(2022)
作者单位:1. 上海交通大学医学院教务处,上海 200025;2. 上海交通大学口腔医学院口腔颌面外科学系口腔颌面头颈肿瘤教研室,国家口腔疾病研究中心,国家口腔临床医学中心,上海 200011;3. 海南西部中心医院(上海九院海南分院)口腔颌面外科,海南 儋州 571700
通信作者:钮晓音,电子信箱:niuxiaoyin@163.com;胡镜宙,电子信箱:huyayi@163.com

摘要:数字感知技术包括虚拟现实、增强现实及混合现实技术,是新时代图像技术的重大突破。利用数字化手段捕获、再生或合成各种来自外部的感官输入,代表着三维图形模拟及场景再现的数字化仿真新技术时代的到来,这些新技术已逐渐被应用于临床实践及医学生物工程学等多个领域。在全球范围内,口腔颌面外科学(包括颅颌面外科和头颈外科)等领域的医学教学实践和管理中都在尝试通过这些技术来改善本科、研究生及住专培医师的临床教学体验及管理。虽然我国在数字感知技术的临床应用上走在了前列,但相关技术在口腔颌面外科教学的运用仍显滞后。因此,了解虚拟现实、增强现实及混合现实在口腔颌面外科学的教学历史和现状有助于填补相关教学领域空白,并推动数字感知技术在口腔颌面外科教学中的广泛应用。文章回顾了数字感知技术在口腔颌面外科教学中的发展及应用,并在上海交通大学口腔医学院口腔颌面外科教学中对其进行应用探索,以期为口腔颌面外科教学提供参考。

关键词:虚拟现实;增强现实;混合现实;口腔颌面外科教学

党的二十大报告首次提出“推进教育数字化”。在2023年世界数字教育大会上,教育部部长怀进鹏提出推动教育变革创新,落实全球教育数字化倡议[1]。2023年11月,联合国科教文组织第42届大会发布了关于全球教育发展的新建议书,首次提出“全方位推进教育数字化”共识;教育数字化战略是中国式教育现代化的重要组成部分,在新医科背景下发挥数字赋能教育作用,是服务科技、人才及教育强国目标的关键路径[2]。

数字感知技术包括虚拟现实(virtual reality,VR)、增强现实(augmented reality,AR)及混合现实(mixed reality,MR),是现代医学教育中最新尝试使用的3种技术;其利用计算机数字原理及传感器设备,通过三维建模、多重信息融合、实时跟踪及智能交互将模拟仿真应用至现实场景,让使用者沉浸在高度模拟真实情况的世界中。数字感知技术极大增强了交互性及模拟性,可实现沉浸式口腔颌面外科教学,有助于颌面外科见实习前的衔接。本文就数字感知技术的软件设备发展及其在口腔颌面外科(包括颅颌面外科及头颈外科)教学中的最新应用进行论述,并探索其在口腔颌面外科教学中的应用潜力。

1    数字感知技术概述
VR通过计算机数字化集成、多来源信息融合及图形计算来构建完全虚拟的环境或情景。AR将计算机及芯片运算等技术叠加到现实环境或情景中,以增强体验感;其更强调增强体验已存在的现实环境或情景。MR通常是VR和AR技术的结合,其可通过头戴式显示(head-mounted display,HMD)设备、手势笔画、语音或触摸设备等在现实环境中实现和叠加与虚拟物体的仿真互动。
1957年,Sensorama 发明的第1台带有传感器的沉浸式游戏设备成就了VR概念的雏形;随后,VR技术不断迭代更新,于2010年前后被广泛应用于临床和生物医药领域[3] 。VR首次应用于医学教学是在 1993 年,Satava 尝试在解剖学教学中加入VR 技术[4] 。随着口腔医学领域中 VR、AR 及 MR教学素材的不断丰富,以及 HMD 设备的不断发展,数字感知技术对口腔相关专业教学的辅助作用愈发突出。
数字感知技术可提供更逼真的临床仿真教学体验。研究表明,VR技术可提高学生对三维解剖结构的认知及学习主动性[5] 。AR 技术可模拟病房、手术室及急救等不同学习场景,提高见习的学习质量和效果。此外,通过HMD设备与手势等触摸设备的配合,MR技术可将多学科知识相结合,提供交互式的病例模拟和手术解剖演示等[6] 。

2    数字感知技术在口腔颌面外科教学中的发展及应用
2. 1    数字感知技术在口腔颌面外科教学中的发展    VR技术在1995年被认为可用于口腔颌面外科教学,但受制于穿戴设备及软件的研发滞后,当时的VR及AR概念仅限于图像再现[7] 。HMD设备的发展使计算机模拟的多源数字图像能够被近距离接收。2006 年,Mischkowski 首次应用 HMD进行正颌手术的AR教学演示[8] 。随后,头颅模型软件(如 Simplant、Metlab、Mimics 和 3D Slicer 等)被逐渐应用于上下颌骨甚至所有面部骨的影像三维重建中,这为建立仿真VR头颅骨模型的教学演示提供了软件系统保障[6] 。此外,颅颌面手术导航系统将手术现场实时图像与仿真手术相关图像相互叠加,实现了虚拟三维手术过程再现,使头颅手术的AR教学成为可能。在导航方面,许多开发公司尝试将 StealthStation S8 手术导航系统与 Surgical Theatre的AR技术相连接,以产生360°渲染覆盖效果的 AR,便于面部等复杂部位手术的教学展示[9] 。近十年,随着触感回馈、力回馈及视觉跟踪等技术的发展,触感手术手套、遥感等设备进一步实现了将MR技术应用于唇腭裂手术和面部修复重建外科教学领域中。
2. 2    数字感知技术在口腔颌面外科教学中的应用    口腔颌面外科包括多个亚专科,相应教师均尝试将数字感知技术应用于教学中,且多数研究获得了较好的教学效果反馈。
2. 2. 1    在正颌外科教学中的应用    正颌外科是最早采用数字感知技术来进行教学的亚专业。 Pulijala等[7] 在2018年开发了基于立体视觉的正颌外科VR教学系统,同一时期国内也开始使用类似技术;其将上颌骨Le FortⅠ型截骨的大样本头颅重建模型及激光采集数据导入 HMD 或其他穿戴式设备,增强了学生及年轻实习医生对上颌骨正颌手术操作步骤的直观认识,但此时该技术仅限于介绍平台及软件的开发应用。Maliha等[10] 通过仿真手套设备模拟和软件开发应用设计融合了高精度力回馈的颌骨切割工具及数字手套,并在教学中采用MR技术模拟下颌骨截骨的正颌手术操作。以上方法均聚焦于正颌手术的单个步骤或局部操作,有研究利用数字感知技术进行了正颌全过程教学尝试。Wan 等[11] 设计了沉浸式VR 教学系统,其将正颌手术全过程实景融合于计算机软硬件系统中;国外也有类似Touch Surgery、CIVA等VR、AR 正颌手术教学平台或系统开发。多项教学评价的随机对照或队列研究结果表明,应用数字感知技术辅助教学后,医学生对手术过程的理解、知识点的掌握情况及其学习曲线的加速都得到了明显的提升[12] 。
2. 2. 2    在创伤外科教学中的应用    颌面部创伤外科,尤其是颌骨骨折等内容的教学也非常适合采用VR、AR或MR等新技术。将颌骨骨折的术前CT 定位图像及影像重建的教学大样本数据导入VR软件中,并通过HMD等可视化设备直观呈现,可使学生在不同情况下做出相应诊断并制定治疗方案。MR技术的加持可使学生模拟拼接颌骨骨折断端骨块,并就钛板选取、内固定螺钉锁定、生物力学分析及复位后颞下颌关节对称性等方面来考查学生的掌握情况。颌骨骨折复位导航示踪技术也为MR的教学应用提供了较好的技术背景支撑。有研究采用基于术前 CT 及软件后处理的双下颌多发骨折VR重建模型,开发了上颌骨眶底骨折和下颌骨骨折复位虚拟骨块的移动及拼接操作软件,取得了较好的效果和满意度[13]。Rojas 等[14] 在3D打印的头颅模型上应用MR技术进行单侧髁突骨折内固定复位的教学模拟,该方式经济简便、易于推广。
2. 2. 3    在唇腭裂修复外科教学中的应用    唇腭裂手术对医生的空间想象力有较高要求。以往教师多采用让学生使用纸片、橡皮及硅胶等材料画点剪接等粗略的方式来进行教学,但教学过程中学生疑问点多,且解答时较为困难。数字感知技术的应用使唇腭裂疾病教学更为直观。第四军医大学2010年初步尝试光学扫描患儿唇裂后,在3D软硅胶打印的唇裂模型上通过VR来进行唇裂手术教学[15] 。Cheng等[16] 研发了唇裂VR及MR模拟器,并基于此技术设计高精度触觉回馈设备,形成较为完善的唇裂教学VR及MR模拟训练平台;对照教学研究结果表明,使用模拟器训练的试验组学生相较于仅采用传统教学技术的对照组学生, 在手术自信度、理解及设计理念的综合考核分数上提高了51.3%。
2. 2. 4    在颌面肿瘤与重建外科教学中的应用    在颌面肿瘤领域,通过数字化或叠加VR、AR技术的设计来辅助颌骨肿瘤的精准截骨及重建手术等临床应用较为广泛。在近十年的教学研究中,口腔内镜及达芬奇机器人手术相关数字感知技术一直位于教学新技术前列;开发完备的机器人模拟器能够使学生进行套圈、固定、动物皮肤或口咽腔道内切割穿针等临床仿真模拟操作,具有较好的外科技巧锻炼效果[17] 。此外,在肿瘤切除后的修复重建外科领域,通过采集患者术前CT或MRI数据,并利用各种3D数字化设计软件和VR 软件平台,可使学生掌握模拟切割、折叠及血管放置等多项临床操作要点和技巧。
2. 2. 5    在牙槽外科教学中的应用    数字感知技术在牙槽外科临床领域应用较为广泛。在教学领域,VR技术率先被用于实习或年轻医生对种植体植入手术的定位及操作模拟训练中[18] 。亓文婷等[19] 在2018年提出利用VR技术进行下颌阻生牙拔除术的教学方法创新实践。此外,孟昭松等[20] 设计研发了一种口腔局部麻醉的AR模拟训练设备,其将综合软件技术、仿真头模技术、空间定位技术及智能化考核技术相结合,使学生动态掌握口腔局麻的注射方法,并熟悉相关并发症的发生原因及处理方法。
2. 2. 6    在口腔颌面外科教学中的多学科交叉整合    对于某些复杂的口腔疾病,目前的临床诊治更讲究多学科联合参与;数字感知技术为其提供了很好的数字化图形整合平台。VR和AR软件可将某一疾病的影像学和病理学等各种二维图像融合,使学生“由表及里”地认识疾病;其打破了原有的各学科间割裂的学习模式,并转变为对疾病的全方位认知。同时,MR技术能够对口腔颌面部恶性肿瘤的手术方案设计、缺损修复设计及放疗靶区设计等进行安全、快速、可视化及可预测的尝试,真正达到“一体化仿真诊疗”的教学目的[21] 。 此外,VR、AR 及 MR 平台可构建数字化考核评价平台,为学生提供全方位、个性化的考核评价体系,便于教师掌握学生的动态变化,真正做到因需施教。
3    数字感知技术在口腔颌面外科教学中的应用思考

3. 1    加强课程思政的融入    许多教师在教学过程中片面强调新技术的应用,而忽视了课程思政的有机融入。关于如何在口腔颌面外科学的数字感知教学中融入课程思政元素,许多院校进行了尝试,如将医患沟通实景融入VR中,将国内著名外科先驱曾经所处的临床场景再现,以及通过HMD 和 AR 技术展示国内首创医学专利等;应打造由点及面、立体化及全方位的“医学教学-课程思政”氛围。
3. 2    促进教师数字素养的提升    2022年教育部发布的《教师数字素养》标准指出,在新时代教学中,教师要培养数字化意识、数字化设计、数字化应用及数字化安全道德规范[22]。因此,必须加强对教师数字素养和新技术应用的培训,以有效提升学生的体验感和实践感。同时,教师在信息化教学中要及时进行总结与反思,不断完善教学设计。
3. 3    加强产教融合的资源建设    教育部、工业和信息化部、文化和旅游部、国务院国资委、广电总局等五部门联合发布的《元宇宙产业创新发展三年行动计划(2023-2025年)》中,鼓励通过多平台共享虚拟仿真实验实训资源,扩大优质教育资源覆盖面[23]。加强产教融合,充分调动教师、软件产业、穿戴信息产业及互联网云数据等多方资源深入合作,有助于建设口腔颌面外科学相关的 VR、AR及MR教学资源库。
3. 4    做好真实世界教学的有机衔接    数字感知技术能够较好地辅助学生对口腔颌面外科学的学习,但虚拟仿真等技术与临床实际操作还存在一定差别[24]。因此,要加强虚拟仿真技术与真实世界教学的有机衔接,使学生在临床操作前后都能有模拟患者体内操作的仿真实景体验。数字感知技术作为手术操作的动态演示具有较大优势,在与真实临床操作相互衔接后可使学生有效运用所学技能,能够达到事半功倍的教学效果。

4    数字感知技术在上海交通大学口腔医学院口腔颌面外科教学中的初步探索

在数字化实验室工程师的配合和对数字化软件的使用指导下,于 2023 年 9—12 月对上海交通大学口腔医学院 2019 级五年制及八年制的 16 名学生进行数字感知技术口腔颌面外科教学初步探索(数字感知技术组),另63名学生进行传统教学(传统组)。数字感知技术组的纳入标准:愿意参加数字感知技术辅助《口腔颌面外科学》教学的2019级口腔医学院本科生。教学完成后,对数字感知技术组学生进行问卷调查,并将其相关理论及实习前操作考核成绩与传统组进行比较。

4. 1    “学生主导+教师辅助”数字感知技术建模教学探索    为增强理论学习和临床实习前教学体验,将数字感知技术组学生分为 2 个小组(每组 8名学生),班导师进行相关课外设计,以“学生主导+教师辅助”模式进行相关修复重建技术预演汇演。舌癌肿瘤重建和皮瓣修复概念数字感知具象化,以及下颌骨肿瘤腓骨重建虚拟设计见图1 ~ 2。






4. 2    调查问卷结果    教学完成后,对数字感知技术组学生进行问卷调查。多数学生认为,数字感知技术对手术步骤的理解、实习、理论课、解剖知识、改进教学体验、理论考试、实践操作、丰富书本知识、增加兴趣及整体教学有或非常有帮助;且在手术步骤的理解、实习、解剖知识、改进教学体验、实践操作、丰富书本知识及整体教学方面,所有学生均认为数字感知技术具有一定帮助。见图3。



4. 3    理论及实习前操作考核成绩分析    采用Mann-Whitney U检验比较数字感知技术组和传统组学生的理论及实习前操作考核成绩。结果发现,数字感知技术组的理论及实习前操作考核成绩明显高于传统组,差异均有统计学意义(均P <0.05)。见表1。



5    结语

数字感知技术具有仿真、可视化及可模拟化等教学优势,且可与课程思政结合,有效弥补传统理论教学的不足,使学生获得更好的教学效果及体验,极大推进口腔颌面外科教学的创新与改革。然而,现有的数字感知技术在口腔颌面外科教学中的应用仍存在一定不足。经济上,HMD、触摸回馈及力回馈穿戴设备的购置价格及维护费用较高,在基层口腔教学单位广泛开展有一定困难;技术上,HMD、穿戴设备及手术模拟器等在软组织模拟、动态表情模拟及组织收缩预测等方面有很大局限性,仍需进一步提高设备的精度;临床操作上,尽管数字感知技术在多数教学研究中显示出很好的教学效果,但其仍是仿真教学,无法完全代替临床实体教学操作[4,6,25]。未来,随着VR、AR和MR设备及软件技术的发展,针对不同疾病开发的VR或AR平台及MR设备会大量出现,学生获得的教学体验也将更贴近临床实际。此外,相关的教学尝试也在逐步开展,如设计数字感知技术的临床入科操作考核试点标准,可为临床前衔接构筑一个技术训练及入科前考核平台[26]。

参考文献  略

网站地图 手机版 电脑版

Copyright © 2000-2026 www.yadashi.com 版权所有
本站为口腔健康科普网站,站内内容由本站编辑部整理、编辑与校对。部分资料参考自公开出版物与网络公开信息,涉及第三方内容的均已在文中注明来源。
所有内容仅供健康科普参考,不能替代面诊、检查与专业诊断,请以执业医师的当面诊疗意见为准。
内容纠错与版权事宜,请联系QQ:498810094