●人工智能實時手語翻譯應用程式「SignChat」,作品於「第六屆香港大學生創新及創業大賽」獲創新項目資訊技術組別的三等獎。受訪者供圖

香港文匯報訊(記者 郭虹宇)全港有逾15萬名聽障人士,為幫助他們更有效與他人溝通,香港專業教育學院(IVE)多名畢業生開發出一套人工智能(AI)實時手語翻譯應用程式「SignChat」,透過AI分析手勢並提供實時手語翻譯,高達約八成的準確率,打破因不懂手語而生的溝通屏障。

IVE軟件工程高級文憑畢業生溫子軒是該應用程式的三位開發者之一,他介紹指,「SignChat」研發時間近一年,有幸獲「第六屆香港大學生創新及創業大賽」創新項目資訊技術組別的三等獎。他小學時曾參加合唱團表演,需要將歌詞透過手語表達給聽障人士,從而接觸到手語,其畢業作品「SignChat」正是活用資訊科技打破健聽及聽障人士的溝通障礙。

他表示,「SignChat」分為兩個應用程式,一個負責訓練AI學習手語的意思,一個負責翻譯手語。該系統主要運用人工智能科技,先透過深度學習訓練AI系統辨認不同手語的意思;之後配合立體影像追蹤技術,讓AI辨識雙手的動作,涉及包括手指、手掌和手腕等約20個檢測點;最後透過自然語言處理技術,依據手語的文法,分析不同單字組合的真實意思,形成句子表達聽障人士心聲,此外程式亦具備手語資料庫的功能,能累加不同的生活場景會使用到的日常對話,例如「早晨,你好嗎」、「我想食漢堡包」、「放學」等。

易普及 盼於醫院應用

至於最大的難點,溫子軒認為是訓練AI的學習能力,手勢如果方向有誤差或舉錯手指都會影響AI的辨認。

IVE沙田院校資訊科技系署理高級講師郭譽豪補充指,相較於市面上已有的同類產品,包括中學生開發的智能手套及手語學習相關應用程式等,「SignChat」的優勢在於一般智能電話都能使用,並非特定的硬件,容易普及;還能省略或簡化學習的過程作直接翻譯,達到即時溝通的效果,準確率達八成左右。目前該程式處於初步開發階段,約能識別約50組簡單詞語及句子,期望今年底能達到約100個字詞的目標,應用於醫院、交通等場景,並期望未來能發展將語音翻譯成手語的第二套翻譯系統。