今天小編分享的科學經驗：AI聽鍵盤聲就能偷你密碼，準确率高達95%，歡迎閱讀。
無了個大語！以後 AI 靠聽鍵盤聲就能偷你密碼，準确率高達 95%！
你沒聽錯，現在鍵盤敲字也不安全了，簡直防不勝防。
最近，來自杜倫大學等三所高校的研究人員訓練了個 AI 模型，讓聲學攻擊變得無比簡單，通過分析鍵盤聲音，就能重構用戶輸入的密碼和敏感信息。這要是被惡意洩露給第三方……
網友們聽到後直呼可瑞賊，有人表示：
這就是為啥我輸密碼的時候會聽重金屬音樂，并且将音量調到最大。
危險！危險！危險！
事情還要從英國幾所大學研究人員發的這篇題為 "A Practical Deep Learning-Based Acoustic Side Channel Attack on Keyboards" 的論文說起。
在這項研究中，研究人員用深度學習的方法提出了一個完全自動化的鍵盤聲學側信道攻擊流程，包括按鍵分割、通過 mel 頻譜圖進行特征提取、使用 CoAtNet 模型進行分類幾個大的部分。
具體來說，第一步按鍵分割，就是記錄目标鍵盤上的按鍵。
在這項工作中，研究人員用到了手機（iPhone13 mini）和視頻會議軟體 Zoom ( 模拟遠程攻擊場景 ) 來收集聲音，通過按壓 MacBookPro 上的 36 個按鍵（0-9，a-z）來制造聲音。
△手機距離目标 17cm
每個按鍵被連續按下 25 次後，一個記錄按壓聲音的檔案就產生了。
接下來就是對錄音進行快速傅裡葉變換，然後在頻率上對系數進行求和以獲得 " 能量 "（energy）。之後定義一個能量阈值，當能量超過這個阈值時，标記這裡是一個按鍵音。
通過這個方法，可以從長音頻中分割出獨立的按鍵音段。
△按鍵分割過程，信号通過 FFT 轉換為能量，當超過阈值時标記按鍵。
和手機錄音不同，由于 Zoom 會使用降噪技術來壓縮音量範圍，所以不同按鍵的音量差異很小。這裡研究人員提出了一種逐步調整阈值的方法來解決這個問題。
簡而言之，就是先設定一個初始阈值，使用當前阈值分割音頻，得到按鍵數量。如果分割得到的按鍵數量小于目标數量，則降低阈值；如果分割得到的按鍵數量大于目标數量，則增加阈值。通過逐步微調阈值，直到分割結果等于目标按鍵數量。
這裡為了更精細調整，每次調整幅度會變小，直到準确分割出所有按鍵。
然後，就可以制作出波形圖和頻譜圖，進行特征提取，可視化每個按鍵的可識别差異。
△左圖為手機錄音的波形圖和相應的 mel 頻譜圖，右圖為 Zoom 錄音。
下面重頭戲來了，這些頻譜圖影像會被用來訓練一個影像分類器——CoAtNet。
研究人員将 mel 頻譜圖作為聲音的視覺表示，以影像的形式輸入到 CoAtNet 中。CoAtNet 包含卷積層和自注意力層，可以高效學習特征并建模特征之間的全局關系。
并在 CoAtNet 的基礎上添加了平均池化層和全連接層，以得到最終的按鍵分類結果。
此外，研究人員還使用了交叉熵損失函數和 Adam 優化器訓練模型，訓練過程中，每 5 個 epoch 測試一次驗證集精度。通過調節學習率、epoch 數量等超參數，解決了模型精度突降的問題。
最終，模型在手機錄制的數據集上，分類準确率達到 95%；在 Zoom 錄制的數據集上，分類準确率達到 93%。
△手機錄制的 MacBook 按鍵分類器的混淆矩陣
手機和 Zoom 兩種錄音方式的結果僅差 2%，也側面說明了錄音方式的改變不會對準确率產生顯著影響。
此外，值得一提的是，研究人員還發現大多數誤分類都是相鄰按鍵，錯誤具有一定規律性。
AI 讓古老的東西「重生」
網友看到這項研究後，一部分人表示驚恐，還有一部分人表示這項研究十幾年前就有了：
顯然，古老的（非常非常古老的）東西再次變得新鮮起來了。
就比如說 2005 年華人一作的這項工作中，就已對鍵盤聲學進行了探索。
那麼，這裡有什麼差别？
研究人員表示，之前的方法大多針對的是台式機鍵盤，已經過時了，而這項研究中用的是 MacBook 鍵盤，很多型号通用，潛在危險更大。
還有現在的麥克風也不是當年的了，之前是外置話筒，而這項研究中用的是手機和 Zoom 錄制按鍵聲。
最主要的是方法不太一樣，以前一種較為常見的方法是用隐馬爾可夫模型（HMM），現在用的是 CoAtNet 模型。
HMM 是在文本語料庫上訓練的模型，用于預測序列位置中最可能的單詞或字元。例如，如果分類器輸出 "Hwllo"，則可以使用 HMM 來推斷 "w" 實際上是錯誤分類的 "e"。
相信對于廣大網友來說，這些都不是重點，重要的是怎麼防範啊！
怎麼防鍵盤竊聽？
應對 AI 竊密也不是木得法子。研究人員就說了，可以通過改變打字風格，從标準十指摳鍵盤變為自由打字，降低識别準确率。還有一些方法：
使用随機復雜密碼，包含不同大小寫字母，增加攻擊難度。
在語音通話軟體中添加随機假打字音頻幹擾信号，檢測到按鍵聲時添加幹擾。
使用雙重認證，比如指紋等生物特征，避免通過鍵盤輸入密碼。
除此之外，此前有研究也提出過一些，但今時今日效果可能較差，比如使用觸屏鍵盤、檢查房間内是否有隐藏麥克風、關閉麥克風、不在視頻通話時輸入關鍵信息等。
網友也給出了一些奇招，比如說：
把敲密碼改成復制 / 粘貼？
家人們還有啥法子不？
論文鏈接：https://arxiv.org/abs/2308.01074
