科技新聞

專訪 Microsoft 潛能創意盃冠軍團隊 Tale 人工智能改善演說技巧

Published by
Ken Li

已有 16 年歷史的 Microsoft 潛能創意盃 (Imagine Cup) 鼓勵來自世界各地的學生運用 Microsoft 技術來建立創新方案,以科技實現夢想。今年以人工智能 (AI)、大數據及混合實境 (MR) 為主題的創意盃,吸引了本港 39 支隊伍、超過 110 名學生參賽。

來自香港大學和香港科技大學的三名學生所組成的參賽隊伍 Tale,運用人工智能技術,開發出可助用戶分析個人演說表現的應用,從而提供建議協助提升用戶的演說技巧,成功奪得今屆創意盃的香港區冠軍,並代表本港赴美參加 7 月在西雅圖的比賽,證明本地學生在創新技術的開發和應用上絕不輸蝕。

▲ 左起,香港大學學生劉健鋒 (David),香港科技大學學生謝漢宗 (Douglas) 及香港大學學生劉潔盈 (Jaime)

人工智能教練分析缺點 奪冠團隊巧用 AI 助提升演說技巧

創意盃的特別之處在於,不止於看重意念的創新,更強調每支參賽隊伍項目的技術和實用性。為此在賽前會先舉辦歷時 24 小時的 「Imagine Hack」Hackathon,讓學生隊伍先行構思並製作出項目原型,從 15 支隊伍中決出最佳 8 強直接提名到第二輪的創意盃賽,再與其他隊伍比拼。

而冠軍團隊 Tale 的三名成員:香港科技大學學生謝漢宗 (Douglas)、香港大學學生劉健鋒 (David)及劉潔盈 (Jaime) 亦是先經過 Hackathon 的試煉,繼而了解到 Microsoft 舉辦的創意盃參賽。

David 表示,團隊三人均是 Microsoft Student Partners (MSP) 計劃的成員因此而認識,最初在 Hackathon 時與 Douglas 想出一個關於 HealthCare 的項目希望能幫助長者改善身心健康,但發覺該問題並不能藉技術輕易解決,同時亦有感參加比賽並非單純做好項目就可以,在面向評判比稿 (Pitching) 時演說技巧也非常重要,恰好 Jaime 亦有同樣想法,於是三人一拍即合,轉為開發能有助提升演說技巧的項目。他又笑言,Jaime 在 Pitching 時表現更好因此主要都是由她負責解說,讓自己和 Douglas 可以投放更多精神專注在項目的開發上。

談到獲獎項目,David 指團隊成員發現普遍香港學生的演講技巧不佳,例如從新聞報導中得知 IELTS 考試中的說話部分香港落後於新加坡、馬來西亞等地,但說話技巧其實在很多場合都非常重要,包括日常生活、求職面試、參加比賽以至創業面對投資者做 Pitching 等,惟香港學校在訓練說話技巧方面較為欠缺,亦沒有充裕的時間讓教師評價每個學生的說話表現。

因此就團隊就運用 Microsoft Azure 以及當中的數據分析和人工智能套件來開發出針對改善演說技巧的應用,希望幫助用家提升演講技巧,在做簡報或演說時能更自信、更有技巧地傳遞想要表達的內容。

他進一步解釋,透過其開發的應用,用家只需上傳自己演說的片段,系統中的人工智能就能從 Verbal、Non-verbal 兩方面來分析演說表現「例如 Highlight 出多次出現的字眼,演說期間不時出現的不合適的身體動作等,都會在分析中提醒用家注意。」他說,希望應用能做到如一個個人化的 presentation coach 一樣。

Douglas 則補充,演說的好壞當然不能單靠上述三項指標來評價,因此應用並不會直接評判用家的演說是好還是不好,而是透過分析數據指出問題,此外亦會在網絡平台中找出好的演說示範,供用家參考。未來亦希望進一步完善建議引擎機制,針對演說中某一項弱點建議相應的改善教學,例如用家演說時聲量太低,則自動根據這一點從 YouTube 平台中找出教導如何改善該問題的示範影片。

團隊中,主要負責開發工作的 Douglas 和 David 均是修讀電腦學科,不過掌握 AI 應用的開發則是基於興趣去主動學習。Douglas 表示,據他了解普遍香港大學都有相關課程去教導 AI、Machine Learning 的概念 ,而自己亦對此感興趣「作為一個讀 Computer science 的學生,有點追求的人都會感到好奇,想去了解這些新興技術,像是到 Github 這些開放源碼平台,了解 Deep Learning、Chatbot 等技術」他說。

David 則認為兩方面都很重要,他說:「雖然學校未必能時刻緊貼 AI、Machine Learning 的創新發展,但提供相關課程讓我們認識基本概念仍是很重要,因此在了解最新技術上個人的探索和興趣就顯得更為重要。」David 又透露自己也是在上年年尾加入了 MSP 計劃開始才產生興趣,在此期間透過各種 technical Workshop 了解到 Microsft 這類大型科技企業有哪些最新的 AI 技術,並認識到 AI 技術並非想像中那麼難應用到,促使他們由技術興趣者,在比賽的過程中快速成長至可將 AI 技術運用在方案開發中。

 

創意盃為學生提供充足支援

Microsoft 大中華區商業軟件工程總監 Joelle Woo,亦是今屆創意盃的評判。她認為今年參賽隊伍的表現及其項目均非常出色,能做到將科技應用到實際生活場景中。Joelle 舉例,如奪冠的 Tale 隊伍運用 AI 來改善用家的演說技巧的方案,這在以往傳統的演說技巧訓練課程,人們可能需要為此付出高昂的費用。而亞軍團隊運用的區塊鏈技術亦有助於金融機構能更快更具效率地進行信用檢查。 這些能為行業帶來改善甚至是顛覆式創新的方案,均要求開發者能善用相關技術,她對年輕人能開發出這些出色方案感到欣喜。

創意盃要求所有參賽團隊都需要在 Microsoft Azure 雲端上構建他們的方案。如人工智能和大數據類別,參賽隊伍可運用 Microsoft 的人工智能認知服務,該平台讓開發者可組合合適的套件編寫更智能的應用程式,例如利用 Vision APIs 和圖像處理算法識別圖片、運用 Language APIs 讓應用可使用預構建的腳本處理自然語言;以及機器學習、AR/VR/MR 等沉浸式技術的開發亦有充足的 Libraries 和 SDK 供開發人員使用。

「因此 Microsoft 及其合作夥伴亦在比賽過程中提供一系列培訓,包括「設計思維工作坊」和「Pitching 工作坊」予學生提升他們的演說技巧;而第二輪入圍團隊還有機會與 Microsoft 工程師和專業人士會面,諮詢 AI 和機器學習的技術難題獲取建議,協助完善學生方案的技術架構提高實用性,並給予商業建議。」Joelle 說道。

冀完善方案讓學生受惠

Jaime 認為參加創意盃獲益良多,一方面是時間比起 Hackathon 更為充裕,由構想、交計劃書到落實開發,可以有更多檢視和重新調整項目的機會。「例如早期做計劃時需要考慮目標用戶群,商業計劃如何,是有已存在類似項目等。」她續稱,「比賽期間也有很多 Workshop 供他們學習使用 Microsoft 技術的使用,讓他們能很快上手,而在 Demo Day 時能了解到技術方面如何作改善;在 Pitching 時評判則能從專業的角度給出意見,讓我們知道若項目真的投放到市場時,會收到哪些用戶反饋或面臨什麼問題,可以準備得更好。」

談及團隊未來會否以獲獎項目為基礎繼續發展,或藉此創業。David 表示未來會繼續完善該項目,目前亦申請了創意微型基金,期望能獲取啟動資金。Jaime 亦表示會繼續投入,希望能讓更多大學和高中的學生能用到他們這個方案,又透露正與院校商討和網上學習平台商討合作,期望將方案整合到現時院校常用的網上學習系統中,讓學生能更容易使用到他們的開發成果。

 

更多 Microsoft 及 AI 資訊:<按此>

更多 Microsoft Student Partners in Hong Kong 資訊<按此>


相關文章:
  • 【教學】ChatGPT 視像隔空教你養魚 用相機攝取現場環境 實時 AI 回應用家問題
  • 【教學】冗長文章 AI 變成有趣電台節目 Reader by ElevenLabs「聽」文章不再暈車浪 + 學習外語方便
  • 【教學】MacWhisper 語音轉錄文字 AI 工具   本地 AI 模型處理 + 支援廣東話、多國語言 + 輸出字幕檔

  • Published by
    Ken Li