人物專訪

香港中學生開發手語翻譯手套 手語變成多國語音文字

Published by
Grace
Share

去年年中,兩名美國華盛頓大學的學生研發了 SignAloud 手語翻譯手套,配合電腦使用,戴上後就可以將手語配對數據庫中的詞組,直接翻譯成語音及文字。不出一年,香港就有中學生進一步發展這個產品。基督教宣道會宣基中學的三名中五學生-鍾浩輝、陳嘉龍及伍澤林,製作出便攜式手語翻譯手套,配合手機應用程式即可進行翻譯,方便聾啞人士與人溝通。

▲基督教宣道會宣基中學中五學生(左起)伍澤林、鍾浩輝、陳嘉龍。

照顧手語使用者所須

同一個意思,世界上的不同地區也有不同的手語表達方法,正如豎起手指公於香港代表很好,但於某些地區就可能有侮辱的意思。製作手語翻譯手套的三名同學發現手語有地區性的問題,因此有了這個製作概念,期望手套可以協助聾啞人士與外國人溝通。

▲坊間的手語應用程式以教學為主,甚少有翻譯功能以照顧手語使用者所須。

以屈曲度及方位推斷意思

他們製作的手語翻譯手套上有三大主要骨幹,分別是手指位的 Flex sensor(彎曲感應器)、Gyroscope(三軸陀螺儀)及藍牙傳輸器。彎曲感應器及三軸陀螺儀分別用以收集手勢及動作的數據,而藍牙傳輸器則將數據傳送到手機應用程式(App)。手機 App 是數據處理中心,將手語與數據庫內的詞組配對,然後就會輸出成文字及語音。

▲ 手套的主要組件都在手背上。

▲ 陳同學笑說,示範詞組入面有「I love you」可以用來向心儀同學表白。

▲同學亦非常有心思,他們見到 UNWIRE 的標誌上有一隻雀,就示範設定「小鳥」的手語翻譯為 UNWIRE.HK。

準確度達八成半

鍾浩輝主力負責硬件開發,他認為製作手套的過程中最困難的在於調整各組感應器的敏感度,「我地對手嘅姿勢太多,加上 sensor 好敏感,如果手勢有少少唔同,個數據都會有變。我地花咗唔少時間喺個數據計算方法上,令佢準確啲。」他們稱,調整後,目前手套的準確程度達八成半,不過暫時數據庫內的詞組就不太多。

▲鍾浩輝(中)表示,製作手套前想過幾個方法以分析手部的運動及動作。他們曾於網上見到不少軟件可以做到,但大多要連接電腦,不夠方便,也不太準確,最後決定自己製作手套及寫程式。

▲畫面左下方的數字就是手套收集到的數據,代表手指的屈曲程度及手的方位。

可輸出至多國語言

而另一成員陳嘉龍則負責手機 App 開發,目前,手機 App 可以將香港手語翻譯至英文,他期望可以同時輸出至法文。被問及為何是這兩種語言而不是中文,陳同學笑說,他們使用的軟件開發工具並不支援中文,因此未有方法翻譯至中文。

▲ 陳嘉龍負責手機 App 開發,於過程中,他見到數據的變化幅度很大,更因此使用了一個開源數學模型,用以「降噪」。

將赴美繼續參賽

三位同學只用了三個月左右的時間就已經製作這個手語翻譯手套雛型,更憑此產品獲得前往參與「國際可持續發展項目奧林匹克競賽」的機會,及於早前勇奪「香港學生科學比賽」高中組(發明品)的冠軍。三人亦表示,希望可以繼續完善產品,充實數據庫內的詞組,再讓聾啞人士試用手套。

▲於 App 內輸入詞組,再附以手語,就可以完成一次數據登錄。

▲三人憑手語翻譯手套勇奪「香港學生科學比賽」高中組(發明品)的冠軍。

相關影片(部份片段來自「香港手語來自聾星」)﹕

Published by
Grace