今天小編分享的科技經驗:雷軍 AI 配音罵人在抖音瘋傳,本人怒了,警惕 Deepfake 泛濫的新時代,歡迎閲讀。
請問,長假 7 天,被 AI 用雷軍的聲音罵了 6 天,是什麼體驗?
雷軍本人無辜躺槍,博主們在違法邊緣試探或者已經違法,網友短暫地看了熱鬧然後回歸工位,小米法務部兩眼一黑,收不回手裏的 40 米大刀。
聲音克隆,這事其實已經不新鮮了,但泛濫成災的後果,才剛剛顯露端倪。
不只是玩梗,這次 AI 有點突破底線
最近,抖音、B 站有不少「雷軍罵人」的視頻,其實都是網友用 AI 克隆了雷軍的聲音整活,并且文案的套路也很類似,大概都有三個特點。
▲ 這是惡搞
開頭直抒胸臆,言明身份,「大家好,我是雷軍」。
▲這是惡搞
話題百無禁忌,打籃球、打麻将、打遊戲不爽了,假期不知怎麼就過完了,都借 AI 雷軍之口吐槽和鋭評,更過分者,用虛假信息抹黑品牌形象,比如用小米手機看A片。
▲這是惡搞,相關搜索很有意思
語氣温和但髒話不斷,和雷軍本人形成反差,一口一個老子、畜生,問候他人母親,甚至造謠式威脅,聲稱遠程控制小米手機自爆、用小米 su7 撞人。
▲ 這是惡搞
還有腦洞清奇的網友,用 AI 偽造雷軍回應,前面畫風正常,澄清事實,誇網友有才,讓大家謹慎辨别,像雷軍會説的話,後半段轉折,圖窮匕見,繼續口吐芬芳,讓人猝不及防。
雷軍本人已經知道了被 AI 惡搞的事情,在小米 su7 鎖單的微博評論區被網友提問時,回了三個感情色彩鮮明的 emoji。
雷軍的形象一直比較平易近人,不介意玩自己的梗,入駐 B 站時配上了「成名曲」《Are you OK》,小米甚至推出了 Are you OK 手型的周邊,但這次的性質顯然不太一樣。
玩梗歸玩梗,過于低俗,甚至懷揣惡意,就不可取了。
這些視頻不僅不強調是 AI,還言之鑿鑿説自己是雷軍,配圖用了真人照片,确實是在侵犯名譽權、肖像權的邊緣試探,比起 AI 孫燕姿是否侵權更加明确。
小米法務部幹活了,目前在抖音搜索「雷軍 AI 配音」,已經沒有什麼髒話、造謠、罵街了。
AI 侵權尚且屬于新事物,但也有前車之鑑可循。
今年 4 月,全國首例「AI 聲音侵權案」一審宣判,明确認定,在具備可識别性的前提下,自然人聲音權益的保護範圍。可及于 AI 生成聲音。
這裏有個關鍵的概念,什麼叫可識别性?除了聲音的使用情況,本起侵權案還提到了一個接地氣的評判标準:相關領網域普通聽眾能否識别。
推廣到雷軍 AI 配音,這個标準應當也适用,很多視頻雖然内容一聽就不像雷軍的風格,但聲音确實和雷軍本人相近。
總之,互聯網不是法外之地,AI 也逃不過天網恢恢。别説什麼技術中立,該承擔責任的,還是使用工具的人類自己。
造假簡單,但考慮過怎麼亡羊補牢嗎
AI 雷軍聲音的大規模傳播,也説明了一個事實:克隆聲音越來越簡單。盡管維權團隊出手了,但社交媒體上已經熱鬧好一陣了。
不像當初讓 AI 孫燕姿唱歌要用 SoVITS 訓練模型,有點專業門檻,比較考驗設備性能,現在讓某人説什麼話,直接在網站上就能幾乎實時生成。
▲聲音克隆網站,有很多用户自行上傳的 AI 角色
前段時間,直播頭部公司三只羊還沒走出「月餅門」,又陷入「錄音門」,蓋棺論定之後,也是 AI 的鍋。
一段疑似三只羊高管的錄音内容被曝光,内容拉低下限,涉及到多位高管和主播,但據警方調查,音頻内容不實,是用 AI 偽造的。一時間人們無法相信,AI 這麼強大了,都能制造酒後言論,把自己送到法制欄目了。
不可信其無,我簡單嘗試了一個聲音克隆網站,注冊郵箱即可使用,雷軍 AI 聲音是其中一個熱門選項。
雖然生成的效果有些瑕疵,出現雜音、吞音,音質像電話那頭傳來的,但幾乎實時生成,500 字内免費,語氣、語調也比較自然,還要什麼自行車?
▲又一個聲音克隆網站
瑞萊智慧算法科學家陳鵬博士告訴 APPSO,之前捕捉我們的聲紋信息,需要幾分鍾、幾十分鍾的語音,但現在可能半分鍾、幾十秒,就能捕捉個大概。多接幾個騷擾電話,我們的聲音或許就泄漏了。
不過,想要更精準地克隆,復制音調等説話風格,比如讓郭德綱説英文相聲、讓黴黴講中文,仍然需要更多的語料。
但論語料,名人可不缺。海外也發生過 AI 聲音造假事件,甚至把主意打到了總統頭上。
今年初,美國新罕布什爾州的居民,接到了拜登的自動語音電話,被告知不要在州初選時投票,實際上這段音頻是用 AI 工具 ElevenLabs 偽造的,目的就是要幹擾選舉。
事發幾天後,ElevenLabs 拉黑了始作俑者的賬户,這位用户承認,克隆拜登的聲音,他只花了不到 20 分鍾,以及 1 美元。
ElevenLabs 也為此做了些防範措施,包括「No-Go Voices」,禁止用户上傳或克隆某些名人和政客的聲音。
然而,并不是鐵桶一塊,今年 3 月,404 media 的一位記者發現,只需在上傳檔案的開頭添加一分鍾的沉默,就能繞過規則,克隆特朗普和拜登的聲音。
也可以用魔法打敗魔法,但 AI 檢測軟體經常拿 AI 生成的音頻沒辦法。
NPR 的記者測試了三個檢測軟體,結果并不樂觀,提交了 84 個樣本,表現最好的軟體錯了 3 題,剩下的一個錯了 20 題,一個正确率只有 50% 左右。
AI 雷軍聲音的事件中,還有一個很有意思的現象:除了在線呼叫法務部,也有網友表示,怎麼平台不管一管,反讓這種内容流行起來?
網信辦 9 月發布的《人工智能生成合成内容标識辦法(征求意見稿)》提出,AI 生成合成内容,應當添加顯式标識和隐式标識,前者可被明顯感知,後者添加在元數據中。
▲用户添加自主聲明
其中,傳播内容的平台,應當承擔什麼責任呢?
一是核驗元數據有無隐式标識,如有,應添加顯眼的提醒;二是沒有核驗到隐式标識,但用户聲明是 AI 内容,也應該添加提醒。三是,既沒有隐式标識,用户也沒有聲明,平台檢測到了 AI 痕迹,同樣需要添加提醒。
這次的鬧劇就是一個例子,用户沒有自主聲明,平台的檢測也不到位,有的視頻标題下方提醒了「疑似使用了 AI 生成技術,請謹慎甄别」,有的卻沒檢測出來。
▲上面沒标注,下面标注了
今年初,泰勒 · 斯威夫特被 AI 偽造色情圖片,也是名人被 AI 禍害的典型事件,同樣反映了補救措施的滞後性。
其中一張圖片在被删除前,在 X 存活了 17 個小時,被查看了 4700 萬次。
X、Instagram 等社交媒體,除了删除照片,一度不允許搜索黴黴,或者在搜索時發出警告。粉絲們恨鐵不成鋼,自發「屠廣場」,用真實照片保護偶像。
▲ Instagram 對泰勒 · 斯威夫特的搜索警告
AI 技術越被廣泛地使用,就越難防止被濫用。
當初用 Midjourney 生成的、穿上羽絨服的「時尚教皇」,讓有圖有真相成了過去時,此情此景,聲音、視頻也是類似的道理。
最細思極恐的是,技術持續進步,AI 可以「復刻」出越來越接近真實的、具備某種生物特征的個人。
我們的面部、個人信息,説泄露也就泄露了。同時,畫風、音色,這些曾經有門檻、貌似獨一無二的事物和技藝,也被 AI 學個八九不離十,哄騙普通人足夠了。
今時今日,除了動用技術、法律的手段,我們或許不得不考慮,是不是該有一些道德的共識。君子有所為,有所不為。已所不欲,勿施于人。
當我們上網時,最好不要默認一切是真實的,更不要成為過界的始作俑者。我們不是在岸邊凝視海水,我們也是上面的一葉扁舟。