生成式AI進醫療場域 幻覺、資安與過度依賴成隱憂
衛福部指出,生成式人工智慧雖可提高醫療機構營運效率,但其資料驅動的學 習方式、內容生成能力、廣泛應用及技術複雜性等特性,也可能衍生潛在風險。
此次公布的指引共羅列六大風險,包括:模型訓練過程產生的基礎模型風險、外部資料品質與可信度不足的資料來源風險、生成錯誤資訊或「AI幻覺」的輸出結果風險;也納入提詞攻擊(Prompt Injection)造成資安攻擊的風險、醫事人員過度依賴AI造成臨床判斷能力下降的使用者依賴風險,及雲端服務中斷、模型下架或供應商政策變更等服務中斷風險。
《醫療機構應用生成式人工智慧指引》適用範圍
| 類別 | 內容 |
| 適用機構 | 公私立醫院、診所 |
| 適用情境 | 病歷生成、臨床決策支援、行政文書、病人溝通等生成式AI應用 |
| 適用對象 | 預備導入或已導入GenAI系統之醫療機構 |
| 不適用項目 | AI Agent、非醫療用途AI、醫療器材法規管理範圍產品 |
建立風險治理機制 衛福部提九項導入要點
為因應上述風險,衛福部進一步提出醫療機構導入生成式AI的治理原則與管理措施,並提出9項要點協助機構按生成式人工智慧導入生命週期規劃與執行。
首先是「導入前評估階段」醫療機構應指派主責單位或專責人員,負責生成式AI系統的風險辨識、評估及分級管理,並建立人工智慧產品與系統清單。指引指出,醫療機構應評估系統資料來源的多元性、時效性與可靠性,同時檢視是否符合個人資料保護法、醫療法及相關醫事法規規範。此外,系統上線前也應完成資訊安全與資料保護評估,確認資料蒐集、處理、儲存與利用過程的合法性與安全性。
在「導入與整合階段」,醫療機構應評估生成式AI系統與電子病歷(EMR)、醫院資訊系統(HIS)及醫學影像儲傳系統(PACS)等既有系統的整合能力,並進行效能驗證、壓力測試及臨床安全測試,確保系統在實際臨床情境下的輸出品質與安全性。對於高風險應用,則建議採分階段導入方式,先於測試環境驗證後,再逐步擴大至特定科別或臨床場域。
此外,指引也要求醫療機構強化供應商管理。未來與AI廠商簽訂契約時,應明確規範模型品質、偏誤管理、可追溯性、資料使用權限及資安防護措施等內容,並要求供應商揭露所使用的大型語言模型(LLM)名稱、版本、部署方式及更新機制,以利後續管理與風險控管。
在「導入後使用與監管階段」,衛福部強調生成式AI應定位為輔助工具,而非取代醫事人員專業判斷。凡涉及臨床判斷、病人安全、病人溝通或醫療紀錄等情境,仍須由具專業資格的醫事人員進行最終確認、審核與負責。醫療機構也應建立持續監測、異常通報與偏誤管理機制,定期檢視系統輸出品質及臨床適用性。
值得注意的是,指引特別納入近年生成式AI常見的提示詞注入攻擊風險,提醒醫療機構建立輸入過濾與異常監測機制,避免惡意指令影響系統輸出內容,進而危及病人安全或造成敏感資訊外洩。
在病人權益保障方面,衛福部要求醫療機構以適當方式告知病人及家屬生成式AI的參與範圍、用途與限制。若AI系統直接與民眾互動,應主動揭露其為人工智慧系統,並提醒輸出內容可能存在錯誤或幻覺風險。若醫療照護過程涉及錄音、錄影等AI輔助應用,也應事先取得病人或家屬知情同意,若病人明確拒絕,則應停止相關作業。
AI治理進入新階段 後續效應待觀察
可以看出此次指引並非在限制醫院使用生成式AI,而是在建立「AI可用,但必須有人負責、可追蹤、可監管」的治理框架。
值得關注的是,國內也有少數醫學中心成立AI治理相關委員會或管理機制。隨著衛福部正式發布生成式AI指引,未來是否有更多醫學中心跟進建立跨部門AI治理架構,並將其納入院級決策與風險管理體系,將成為觀察臺灣醫療AI發展的重要指標。
另外是病歷生成、語音病歷、臨床決策支援等醫療AI業者,是否開始依循指引要求,強化資料治理、風險管理與產品透明度;以及主管機關未來是否進一步針對醫療場域生成式AI應用,建立更明確的審查、驗證或監管機制。
參考資料:https://mohw.gov.tw/cp-7407-86695-1.html
(報導/彭梓涵)