科大手語翻譯App 為聽障者「發聲」

助用家急症求診應急使用 盼收集更多本地手語數據作優化

手語是聽障人士溝通的重要工具，但要與非手語使用者交流往往要依賴手語翻譯，惟本港相關服務嚴重不足，平均每3,000名聾啞人士只有一名手語翻譯員。香港科技大學3位計算機工程學系畢業生開發了應用程式「HandsTalk」手語通，採用生成式人工智能（AI）以進行整句手語翻譯，並引入選字功能提高翻譯準確度，令交流更為流暢，有望幫助聽障人士應對日常以至醫療緊急情況，促進社會共融，有關項目早前成功在「2024香港資訊及通訊科技獎」中獲得學生創新（大專及高等教育）銀獎。 ●香港文匯報記者 楊盈盈

Handstalk團隊成員李焯森與香港文匯報分享，聽障人士最需要手語翻譯員通常是在醫療方面，「例如凌晨看急症，不可能即時找到翻譯員，情況緊急更不能等有人翻譯才看醫生。」此外，日常生活像是處理銀行手續、去警署報案、去政府部門申請文件等，都需要有手語翻譯，團隊希望能透過科技發明應對社會需求。

新增選詞功能 提高準確性

手語需要同時配合手形、位置、方向、口形、表情等表達，李焯森說，研發過程中最大挑戰是供AI系統訓練的手語圖像數據的不足，加上手語中不少手勢因相似較難辨識，影響翻譯成效，為此團隊引入選詞功能，讓用戶在做手語姿勢後確認，從而提高翻譯的準確性。

有望建本港手語數據庫

另外，Handstalk又引入整句翻譯的功能，透過生成式AI將手語翻譯的詞語組合成完整句子，讓雙方交流更流暢，他解釋：「例如要表達『我們去打籃球』，手語使用者可能只做了『我們』、『籃球』手勢，AI系統能自動將零散詞語組成完整句子，讓非手語使用者能更清晰明白及理解。」

李焯森表示，手語因地域關係致詞彙有所不同，要建立屬於香港本土的手語數據庫還需要一定時間。團隊導師、科大計算機工程學系助理教授梁煒霆指，期望可透過不同NGO跟聽障人士合作，收集更多本地手語數據優化系統。此外，團隊亦正申請一些創科基金希望推廣Handstalk於醫院應用，在減少醫生與手語使用者溝通障礙的同時，亦透過用家評分提高成效。

坊間有意見認為，聽障人士可使用文字溝通，對於手語翻譯應用程式的需求存疑。李焯森直言，參賽期間評判亦有提出類似質疑，但自己並不認同，一方面由於手語是聽障人士的母語，可以更準確表達他們的意思，另一方面更應該保障聽障人士使用手語的權利，以科技彌補翻譯員不足的問題，減少與非手語使用者間的溝通障礙，真正邁向共融。

他分享說，在測試時不少聽障人士都形容，HandsTalk是一個有溫度的工具，讓他們覺得自己好像能跟普通人一樣與其他人進行溝通。他相信Handstalk可降低學習手語的門檻，促進更多人與聽障人士交流。