今天小編分享的教育經驗:英偉達推出一款用AI學習手語的工具,可免費使用,歡迎閲讀。
2 月 20 日,英偉達宣布推出 AI 手語學習工具 Signs。
有數據顯示,在美國,美國手語(American Sign Languge)是第三大普遍使用的語言,但利用美國手語數據開發的 AI 工具的數量卻遠遠少于其他常用語言的工具數量。這也是 Signs 平台誕生的原因。
Signs 平台在網頁端運行,由英偉達與美國聾兒協會(American Society for Deaf Children)和創意機構 Hello Monday 共同開發,供用户免費使用。
" 大多數聾兒父母的聽力都是正常的。為聾兒的家庭成員提供像 Signs 這樣的便捷工具,讓他們盡早開始學習手語,可以幫助他們與 6 至 8 個月大的兒童建立有效的溝通渠道。" 美國聾兒協會執行董事 Cheri Dowling 説。" 而且,由于知道專業的美國手語教師已經驗證了平台上的所有詞匯,用户大可對自己所學内容的質量放心。" 據了解,目前平台上有 100 個手語詞匯。
官方演示視頻中,手語學習者可以模仿 3D 虛拟形象展示的手勢動作教程進行學習,學習者的動作會顯示在螢幕右半部分,平台會用 AI 工具實時接收學習者手勢的反饋,比如識别學習者手掌所在的位置。
Signs 使用演示
為了更好地指引初學者,學習者的視頻框中會顯示手指的位置、手勢動作軌迹,以及手應該放的位置。比如在學習 Hello 的手語時,用户跟着數字人的提示,先展開手掌,向手掌方向彎曲大拇指,把自己的手放在藍色手掌的位置,學習者跟着藍色手掌的軌迹向遠離身體的方向小幅度輕揮手掌。當兩個手掌匹配上時,會出現匹配成功的音效。數字人通常會要求學習者練習兩至三遍。
雖然 Signs 目前主要關注每個手勢的動作和手指位置,但手語學習還需要結合面部表情和頭部動作來傳達含義。Signs 團隊正在探索如何在之後的版本中追蹤、整合這些非手勢信号。
團隊還在研究如何在 Signs 中呈現其他細微差别,如地區差異和俚語,以豐富手語學習數據庫,此外還與羅徹斯特理工學院無障礙和包容性研究中心的研究人員合作,評估和進一步改善 Signs 平台的用户體驗。
選擇 Record Signs 可進入數據收集頁面
英偉達開發 Signs 的目的不僅僅是教手語,還包括收集更多的手語數據。任何水平的手語學習者都可以通過用手勢表達特定詞語來擴充數據集。Record Signs 頁面會顯示平台需要收集數據的相關詞匯,用户可錄制自己的手語視頻并上傳。
英偉達的目标是将數據集擴大到 40 萬個視頻片段和 1000 個手語單詞,并由流利的手語用户和翻譯人員進行驗證,以确保每個手語的準确性,從而生成高質量的視覺詞典和教學工具。
英偉達團隊計劃利用該數據集進一步開發 AI 應用程式,以打破聾人和聽障人士之間的溝通障礙。
這些數據資源将于今年晚些時候向公眾開放,用于構建易于訪問的技術,包括 AI agents、數字人類應用程式和視頻會議工具,還能用于增強 Signs 平台和其他手語學習平台。