今天小編分享的互聯網經驗：應對AI大模型新的安全挑戰，OpenAI、螞蟻集團聯合出招，歡迎閱讀。
去年年初，ChatGPT 引爆了新一輪 AI 浪潮。在人們期待大模型能夠為各行各業帶來颠覆性變革的同時，也不得不承認，大模型創造了新機遇，但也帶來了新的安全風險。
比如，基于大模型的高效内容生成特質，黑客的攻擊成本和門檻變低，發動更加密集的攻擊變得容易，助長黑客行為；基于生成式 AI 在多種語言和信息整合的優勢，偽造一個極其逼真的騙局成本和時間降低，網絡釣魚行為規模範圍、實施效率大幅度提升；還有老生常談的數據洩漏問題，将企業的安全、隐私等置于極大的威脅中。
難以想象，如果不對大模型的安全問題加以防御，任由其野蠻生長，将會帶來多麼嚴重的後果。
如今，經過去年持續一年多的 " 百模大戰 " 後，大模型進入落地應用階段，開始走進千行百業，與各種各樣的場景進行深度融合。基于此，面對持續發展的大模型所帶來的安全威脅與挑戰，如何采取積極措施，在已有的、傳統的安全工具、策略體系下，進行技術和方法的革新，打造安全可信的大模型，成為全球範圍内各大大模型廠商、從業者關注的焦點所在。
WDTA 就大模型安全發布國際标準，AI 安全評估測試進入新基準
4 月 15 日 -19 日，第 27 屆聯合國科技大會在瑞士日内瓦召開。其中，4 月 16 日，在以 " 塑造 AI 的未來 " 為主題的 AI 邊會上，世界數字技術院（WDTA）發布了一系列突破性成果，包括《生成式人工智能應用安全測試标準》和《大語言模型安全測試方法》兩項國際标準。
WDTA 發布大模型安全國際标準，OpenAI、螞蟻集團、科大訊飛等參編
據雷峰網了解，世界數字技術院（WDTA）是一家在日内瓦注冊的國際非政府組織，遵從聯合國指導框架，致力于在全球範圍内推進數字技術，促進國際合作。
其中 AI STR（安全、可信、負責任）計劃是 WDTA 的核心倡議，旨在确保人工智能系統的安全性、可信性和責任性。螞蟻集團、華為、科大訊飛、國際數據空間協會 ( IDSA ) 、弗勞恩霍夫研究所、中國電子等均為其成員部門。
而此次會議上發布的兩項國際标準——《生成式人工智能應用安全測試标準》和《大語言模型安全測試方法》，是國際組織首次就大模型安全領網域發布的國際标準，代表着全球人工智能安全評估和測試進入新的基準。
據悉，這兩項國際标準是由 OpenAI、螞蟻集團、科大訊飛、谷歌、微軟、英偉達、百度、騰訊等數十家部門的多名專家學者共同編制而成。
據了解，《生成式人工智能應用安全測試标準》（以下簡稱《标準》）由 WDTA 作為牽頭部門，該《标準》概述了一個綜合框架，用于測試或驗證下遊人工智能應用程式的安全性，特别是那些使用大語言模型（LLM）構建的應用程式。
整體來看，該《标準》定義了人工智能應用程式架構每一層的測試和驗證範圍，包括基礎模型選擇、嵌入和矢量數據庫、RAG 或檢索增強生成、APP 運行時安全等，确保人工智能應用程式各個方面都經過嚴格的安全性和合規性評估，保障其在整個生命周期中免受各種威脅和漏洞的侵害。
而《大語言模型安全測試方法》（以下簡稱《測試方法》）由螞蟻集團牽頭編制。
相較于《标準》，《測試方法》則為大模型本身的安全性評估提供了一套全面、嚴謹且實操性強的結構性方案，提出了針對大語言模型的安全風險分類、攻擊分類和分級方法以及測試方法，并率先給出了四類不同攻擊強度的攻擊手法分類标準，提供了嚴格的評估指标和測試程式等，可有效解決大語言模型固有的復雜性，測試其抵御敵對攻擊的能力，使開發人員和組織能夠識别和緩解潛在漏洞，并最終提高使用大語言模型構建的人工智能系統的安全性和可靠性。
聚焦大模型安全風險，築牢防線刻不容緩
會上，WDTA 人工智能安全可信負責任工作組組長黃連金表示，這兩項标準匯集了全球 AI 安全領網域的專家智慧，填補了大語言模型和生成式 AI 應用方面安全測試領網域的空白，為業界提供了統一的測試框架和明确的測試方法，有助于提高 AI 系統安全性，促進 AI 技術負責任發展，增強公眾信任。
正如黃連金所言，這兩項标準的制定集齊了國内外多位專家學者的智慧，而像 OpenAI、螞蟻集團、科大訊飛、谷歌、微軟、英偉達、百度、騰訊等大模型領網域廠商，以及 360、奇安信、深信服等安全廠商，也都在打造安全可信的大模型的道路上進行了長期的探索。
比如，作為 ChatGPT、GPT-4 等最前沿大模型技術背後的公司，OpenAI 在去年 7 月宣布成立 Superalignment 團隊，由聯合創始人 Ilya Sutskever 和 Jan Leike 共同領導，目的是創建一個接近人類水平的、負責模型對齊的 "AI 研究員 "，即用 AI 來監督 AI。
作為推動大模型快速發展背後的算力提供者，英偉達在去年 4 月推出了一款名為 NeMo Guardrails 的軟體，該軟體能夠為 AI 模型設定安全 " 護欄 "，避免輸出一些錯誤的事實、涉及有害的話題或導致安全風險，以解決大模型存在的 " 幻覺 " 難題。
今年 3 月，國内安全廠商 360 發布 360 安全大模型 3.0 版本，奇安信、深信服等安全廠商也都相繼發布 AI+ 安全產品，在探索安全大模型的道路上進行了深度探索。
而作為此次《大語言模型安全測試方法》牽頭編制方的螞蟻集團，更是在安全領網域有着豐富的經驗。
眾所周知，螞蟻集團最初是從支付寶這一小工具誕生，發展至今，而在涉及人們 " 錢袋子 " 的問題上，安全和可靠的重要性不言而喻，因此，從 2015 年起，螞蟻集團就開始積極投入可信 AI 技術研究，目前已建立了大模型綜合安全治理體系。
據雷峰網了解，去年 9 月，螞蟻集團自研了業界首個大模型安全一體化解決方案 " 蟻天鑑 "， 包含大模型安全檢測平台 " 蟻鑑 "、大模型風險防御平台 " 天鑑 " 兩大產品，可用于 AIGC 安全性和真實性評測、大模型智能化風控、AI 魯棒和可解釋性檢測等。
此次發布的《測評方法》，便是螞蟻集團基于 " 蟻天鑑 "AI 安全檢測體系的應用實踐，與全球生态夥伴交流編制。
此外，螞蟻集團在公司内成立了科技倫理委員會和專門團隊來評估和管理生成式 AI 的風險，公司所有 AI 產品均需通過科技倫理評測機制，确保 AI 安全可信。
不僅如此，去年 2 月，螞蟻集團還在設立公司内部科技倫理委員會的基礎上，成立科技倫理顧問委員會，定期邀請 AI 領網域的專家學者圍繞着科技倫理治理體系建設、生成式 AI 治理、大模型風險管理等議題進行深入讨論，力求打造 " 安全、合規、可控、可靠 " 的大模型。
螞蟻集團王維強作為标準參與部門代表，在會上發言
正如螞蟻集團機器智能部總經理、螞蟻安全實驗室首席科學家王維強在會上所言，" 生成式 AI 将釋放巨大的生產力，但也要對它帶來的新風險高度警惕。"
大型科技公司應在促進生成式 AI 安全和負責任的發展中發揮關鍵作用，利用其資源、專業知識和影響力推動最佳實踐，構建一個優先考慮安全、隐私、可靠和倫理優先的生态系統。例如，通過制定行業标準與指南，為開發和部署生成式 AI 系統的開發者和機構提供清晰指導；投入研發并開放保障生成式 AI 安全的工具，形成產業共治。
如今，當大模型開始走進各行各業，在成千上個場景落地的時候，打造安全、可信、可靠的大模型已經不是某一家大模型廠商需要解決的問題，而應該是產業各界攜手，群策群力，一起面對、迎接 AI 新時代的挑戰，創造更美好的未來。
