科大研發創新醫學AI協作框架 診斷準確度提升 研發成本大幅降低

香港文匯報訊（記者 史柳藝）醫療人工智能（AI）一直面對兩難局面：通用基礎模型靈活但不夠精準，專科模型精準卻過於狹窄，難以適應新任務。香港科技大學研究團隊成功開發一套創新的人工智能（AI）「通用—專科協作」框架（Generalist–Specialist Collaboration，簡稱GSCo），實現了醫學通用基礎模型和專科模型在疾病診斷任務的高效協作，讓兩類模型以「協作者」身分並肩運作，由通用模型擔任總決策者，整合專科模型的專家建議與自身醫學知識作出最終診斷，實現優勢互補。

研究結果顯示，GSCo在醫學影像診斷、視覺問答及放射報告生成等多項任務的表現，均比單獨運作的通用或專科模型顯著優勝；同時，該框架能大幅降低訓練醫學模型，以適配全新臨床任務的研發成本。此項成果有望加速醫學基礎模型應用在日常臨床工作。研究成果已於國際頂尖期刊《自然—生物醫學工程》。

是次研究由科大計算機科學及工程學系、化學及生物工程學系助理教授、醫工交叉聯合創新中心主任陳浩帶領的團隊，聯同哈佛醫學院、威爾康奈爾醫學院、香港中文大學、香港大學及中山大學等合作開展。

是次跨院校國際團隊開發出全新協作式 AI 框架「GSCo」。該框架建基於陳浩團隊開發的開源醫學通用模型MedDr，利用多元醫學影像模態和逾200萬個樣本對MedDr進行深度訓練，並同步構建了一組輕量級專科模型，僅需單張消費級顯示卡即可完成訓練。在雙向協作下，專科模型在AI推論過程中負責比對相似的過往病例，並提供診斷預測；MedDr則擔當「核心決策者」的角色，負責將專科模型提供的證據與自身醫學知識整合，作出最終診斷結果。

為驗證GSCo的表現，研究團隊在32個公開數據集、共約260,000張醫學影像上進行全面評測，涵蓋醫學影像診斷、視覺問答及放射報告生成等多項任務。結果顯示，MedDr的表現顯著優於RadFM、LLaVA-Med及Med-Flamingo等現有醫學通用模型，而GSCo在所有內部及外部基準測試中均取得整體排名第一，表現優勝於十個最先進的視覺基礎模型。

在一項皮膚病變診斷測試中，團隊首先利用HAM10000皮膚鏡圖像數據集訓練專科模型，並透過GSCo框架，將其部署於全新的BCN20000皮膚鏡圖像數據集進行測試。結果顯示，GSCo診斷表現高達0.8420分（滿分為1.0），遠勝通用模型 MedDr在零樣本狀態下取得的0.7545分，以及專科模型單獨運作時的最佳成績（0.8292分）。

論文通訊作者陳浩表示：「醫學AI通用和專科模型各有所長，而GSCo的核心價值正是讓兩個獨立運作的模型能以『協作者』身分並肩運作，並由通用模型擔任總決策者，將專科模型的專家建議與模型自身廣博的醫學知識完美整合。」

展望未來，研究團隊計劃將MedDr進一步擴展至電腦斷層掃描、磁力共振成像等三維影像模態及醫學影像領域。MedDr開源通用模型和GSCo框架已公開發布，以推動全球科研及臨床應用，詳情請瀏覽：https://github.com/sunanhe/MedDr。