今天小編分享的科技經驗:OpenAI語音轉錄工具Whisper被曝重大缺陷:憑空生成大段虛假内容,歡迎閱讀。
IT 之家 10 月 28 日消息,當地時間 27 日,據美聯社報道,超過十位軟體工程師、開發人員和學術研究人員稱,OpenAI 的語音轉寫工具 Whisper 存在一個重大缺陷:有時會憑空生成大段甚至整句虛假内容。
這些專家指出,這些生成的文本(IT 之家注:業内通常稱為 "AI 幻覺 ")可能涉及種族言論、暴力措辭,甚至杜撰的醫療建議。
專家們認為,這一問題尤其令人擔憂,因為 Whisper 已被廣泛應用于全球多個行業,包括用于翻譯和轉錄訪談内容、生成常見消費科技文本及制作視頻字幕。
更具風險的是,盡管 OpenAI 已提醒不應在 " 高風險領網域 " 使用該工具,但一些醫療機構仍在匆忙采用基于 Whisper 的工具來記錄醫生與患者的咨詢記錄。
報道稱,研究人員和工程師在工作中經常遇到 Whisper 的 " 幻覺 " 現象,問題的整體規模尚不清楚。例如,密歇根大學一位研究員在研究公共會議時發現,在嘗試改進模型前,他所檢查的十份音頻轉錄中,八份含有虛構内容。
一位機器學習工程師透露,在最初分析的超過 100 小時 Whisper 轉錄中,他發現大約一半的内容存在 " 幻覺 " 現象。一位開發人員進一步指出,在他用 Whisper 生成的 26000 份轉錄中,幾乎每一份都帶有虛構内容。
即便是音質良好的簡短音頻樣本,也未能幸免于這些問題。計算機科學家們的最新研究表明,他們審查的 13000 多段清晰音頻片段中,有 187 段出現了 " 幻覺 " 現象。
研究人員認為,這一趨勢意味着,在數百萬條錄音中将可能出現數以萬計的錯誤轉錄。
OpenAI 的發言人表示,該公司持續研究如何減少幻覺,并且感謝研究者的發現,将會在模型更新中采納反饋。