今天小編分享的互聯網經驗:網易用AI技術,幫助聽障人士說出“人生第一句”,歡迎閱讀。
文|林炜鑫
編輯|鄧詠儀
近日,網易集團、網易公益聯合浙江省殘疾人福利基金會發起 " 人生第一句 " 聲音復原公益計劃,利用網易互娛 AI Lab 的 iSpeech 技術打造首個 AI 復原聽障人士原聲的工具。
聽障人士僅需在「音書 APP」上傳 2 分鍾沒有完整語義的發聲片段,之後在產品中輸入想要表達的文字,就可以用原本的聲音說出來。
目前該產品已向全國聽障人士免費開放,幫助他們無障礙、有情感地與外界交流,用自己的聲音說出 " 人生第一句 "。
不久前,浙江省殘疾人福利基金會面向浙江特殊教育職業學院的學生和「音書 APP」的部分用戶開展調研。
調研結果顯示,僅有十分之一的受訪對象能夠通過簡單的口語與身邊的人進行交流,他們中的大多數,最大的夢想便是能說出 " 人生第一句 "。
網易互娛 AI Lab 技術總監林悅告訴 36 氪,目前市面上絕大多數語音克隆產品,需要比較完整、有一定時長的語段,不适合相對發音困難的聽障人士使用。
此次研發歷時兩個月,網易互娛 AI Lab 研發團隊用上了 iSpeech 技術,基于海量數據的預訓練模型,加上聽障人士極少量的純語音數據快速微調算法模型,在快速克隆新的說話人音色的同時,保留基礎模型的内容發音能力。
來源:網易
林悅表示,這次研發的難點在于,從極短的無語義語音中提取到個人聲音特征。正常的語音合成技術往往需要半小時到一個小時的語料建模,而網易團隊克服了技術難度,僅需要聽障者發出的兩分鍾簡單音節,就取得了效果。
一位聽障理發師使用該技術與母親通話時,母親聽到 " 兒子的聲音 " 後非常激動,稱從未想過能聽到兒子說話。這名理發師說,能用自己的聲音與人交流,可以大大提升自信心。
網易宣布,這項技術研發遵循 " 科技向善 " 的理念,供聽障人群免費使用,希望能提高他們的生活便利性。
接下來,網易團隊希望利用 AI 技術,賦予合成語音以情感表達能力,讓聽障人士通過語音傳遞更豐富的情感。
據了解,此次運用的 iSpeech 技術原是由網易互娛 AI Lab 針對遊戲場景推出的 AI 創作工具,已落地服務于《大話西遊》《一夢江湖》《荒野行動》等 10 餘項遊戲項目產品之中。
通過這次研發,這項技術在遊戲的使用場景也有更多可能性。林悅舉例,遊戲裡會有給 NPC 角色定制語音包的需求,這項技術将減輕研發人員的負擔,不再需要嚴格按照文本錄制聲音,只需日常的說話語音,就能達到效果。