與聽障人士溝通,如不懂得用手語,只能靠「寫紙仔」?3名IVE軟件工程高級文憑畢業生研發人工智能(AI)實時手語翻譯應用程式「SignChat」,透過手機鏡頭辨認手語,並即時翻譯成文字,讓不諳手語的健聽人士都能「看懂」聽障人士的「說話」,方便雙方溝通,長遠冀促進社會共融。
「SignChat」由溫子軒、吳依澄及陳毅展花約一年時間研發,用家只須在程式錄下手語動作,系統便會以立體影像追蹤技術,辨識雙手包括手指、手掌和手腕等合共21個檢測點,再運用AI科技將手勢翻譯成中文。由於手語的「文法」和中文有分別,系統亦運用自然語言處理技術,將不同字眼按詞類分類,例如名詞、動詞等,再將該些詞類按中文文法排列,確保翻譯的文句通順。此外,手語的詞彙組合亦和中文有異,例如「早餐」的手語由「早」和「食」的手勢組成,系統仍能自動翻譯成「早餐」,而不是「早食」。
程式仍處於初步開發階段,暫只能翻譯約50個詞語,目標年底可增至過百個。負責指導3名畢業生研發的IVE沙田院校資訊科技系署理高級講師郭譽豪表示,目前系統遠不足以應付日常溝通,料仍需時開發,而系統儲存的數據將來可用作研發文字翻譯成手語的系統。