10月27日下午,“南湖学者论坛”第三十七期在综合楼N215举行,本次论坛邀请了浙江大学求是特聘教授、教育部长江学者吴健作“多模态医学大模型统一理解与临床应用”专题报告。论坛由计算机学院、人工智能与智慧学习湖北省重点实验室联合举办。院党委书记王坤、教师马于涛、裴羽尘、方钊玉、研究生辅导员李甜雨出席,各年级研究生参与。本次活动由计算机学院副院长崔建群主持。

吴健以通用大模型的快速迭代为切入点,系统梳理了医学大模型向“全科医生”与“专科医生”两条路径并行发展的行业脉络。结合实际应用案例,他展示了自研Hulu-Med对腹部增强CT、胸部X线片等医学影像自动生成的结构化诊断报告,其完整覆盖病灶检出、病理研判及临床诊疗建议等核心内容。
针对多源异构医疗数据统一建模的行业技术瓶颈,吴健介绍了团队历时三年的技术攻关,构建多模态医学大模型Hulu-Med。他指出,该模型配套数据集达2000万条,系目前规模最大的公开多模态医学数据集,覆盖12个人体器官、14类医学影像模态。同时采用“文本-图像-多模态”三阶段递进训练范式,有效缓解模态迁移带来的性能遗忘问题,多项评测指标优于主流开源模型。
在临床转化落地层面,吴健分享了模型在口腔疾病智能筛查场景的实践成果。该系统已实现36类口腔常见疾病的自动化甄别,医生可依托模型开展辅助复核判读,将临床诊断准确率提升4%至8%。后续将持续往“有创转无创、定性转定量、低效转高效、高价转低价”四大方向转化,切实实现医疗惠民。
交流互动环节,同学们围绕医疗数据隐私保护、研发成本、AI时代的职业发展规划等问题踊跃提问。吴健回应,人工智能主要替代重复性编码类工作,行业未来亟需兼具系统架构素养的复合型交叉人才。他勉励青年学子筑牢专业根基,在“脑力归零”的时代主动掌握AI工具,依托真实实验项目锤炼综合实践能力。

本次南湖学者论坛聚焦医学人工智能前沿,呈现了多模态医学大模型从技术攻关、开源共享到临床落地的路径以及人工智能赋能医疗健康的前景,为同学们在AI时代的学习与职业发展提供了指引。
审核:王坤 崔建群 庄甲鹏