Dunn指出,醫療AI研究雖多,真正進入臨床並持續使用的系統仍相對有限。F1分數、曲線下面積(AUC)等指標可以呈現模型的技術表現,卻不足以證明工具在實際照護中的效益。系統若不適合在地族群或臨床流程,部署後仍可能衍生安全、公平性及其他非預期問題。
Dunn以直接面向病人的AI語言模型為例,說明現有研究在評估上的不足。他援引團隊尚未發表的文獻回顧指出,多數研究著重回答的事實與臨床準確性,較少評估模型是否給予不當安撫或不安全的自我健康管理建議,對溝通透明度、監督與責任歸屬的檢視也相對有限。
為補足評估缺口,Dunn認為,資料共享與聯邦學習基礎建設之外,醫療機構還需要部署後的持續監測機制。他提出「互動式合成病人」構想,結合基礎模型與合成病人資料,建立可代表在地族群、能與臨床AI互動的模擬病人,用於評估系統在工作流程中的表現。這項構想仍屬他建議發展的研究方向。
AI回覆與病歷草稿仍須醫師審核
Oen-Hsiao以耶魯使用的病人訊息回覆功能,說明醫師如何審核AI建議。系統會依病歷或病人訊息產生草稿,醫師可採用、修改或捨棄,草稿不會在醫事人員檢視前直接送出。
她舉例,一名病人回報心臟負荷檢查異常,AI草稿卻表示目前沒有危險、不需新增檢查。然而,該病人的負荷心臟超音波顯示前壁缺血,Oen-Hsiao因此聯絡病人安排心導管檢查,病人後續接受支架置放。她強調,醫師不能直接接受AI建議,仍須審查內容並運用臨床判斷。
Oen-Hsiao以AI病歷草稿為例指出,一名病人因血壓控制不佳就診,AI卻將對談中稍後提及的心悸列為主要就診原因,也未記錄病人是在醫師指示下停藥。她因此修改草稿,釐清就診原因並補足停藥背景。
在心血管研究方面,Oen-Hsiao介紹團隊建立的「數位主動脈瓣狹窄嚴重度指標」(digital AS severity index, DASSi)。團隊利用單一胸骨旁長軸切面的二維心臟超音波影片,探索不依賴都卜勒資訊的評估方式,並分析指標與主動脈瓣狹窄進展的關聯。
她指出,相關驗證資料涵蓋美國、英國,以及心臟超音波、心臟磁振造影兩種影像形式。不過,院方仍規劃進一步驗證,現階段也會透過其他影像檢查確認AI判讀結果,尚不能完全信賴AI。
Oen-Hsiao表示,耶魯資訊團隊會先審查系統,醫事人員只能使用院方核可的工具。不過,即使工具已納入臨床流程,醫師仍須檢查AI產生的訊息與病歷內容,不能直接採用系統建議。
她指出,部分訊息草稿與病歷工具確實能加快工作速度,但AI也可能提出不適當的檢查建議,反而增加醫師的處理負擔。對她而言,AI應用於輔助照護,而非取代醫師判斷。