今天小編分享的互聯網經驗:英偉達推出僅249美元的AI超級電腦 生成式AI性能提高達1.7倍,歡迎閱讀。
作者:趙雨荷
來源:硬 AI
英偉達周二推出了一款名為 Jetson Orin Nano Super 的生成式 AI 超級計算機。英偉達 CEO 黃仁勳表示,這款開發者套件通過軟體更新實現了更高性能和更低價格,僅售 249 美元,尺寸小巧,可放在手掌中,可将生成式 AI 性能提高高達 1.7 倍。
該公司表示,這款產品适合商業 AI 開發者、愛好者和學生,與其前代產品相比,其生成式 AI 推理性能提升了 1.7 倍,性能提高了 70%,每秒可以執行高達 67 萬億次的 INT8 運算(67 INT8 TOPS),内存帶寬也提升了 50%,達到了 102GB/s。
黃仁勳還特意為這款產品錄制了一段視頻,如同 2021 年發布 Hopper H100 時一樣,展現英偉達對這款產品的重視。在視頻中,黃仁勳表示,從 Xavier 開始,英偉達就創造了一種新的處理器,也就是機器人處理器,當時沒人知道他們在做什麼。
新的 Jetson Orin Nano Super 擁有将近 70 兆次的運算能力,功率 25 瓦,價格 249 美元,可以執行 HGX 的所有功能,甚至是執行大語言模型。
他表示,無論是創建基于檢索增強生成(Retrieval-Augmented Generation, RAG)的大型語言模型(LLM)聊天機器人,構建視覺 AI 代理,還是部署基于 AI 的機器人,Jetson Orin Nano Super 都是理想的選擇,這款套件都能以更低的成本提供強大的運算效能,主要由于產品支持低功耗設計,能以 7 瓦到 25 瓦的功耗運行,适合各種邊緣設備雲算場景,無論是智能城市、智能農業還是機器人開發。
持續提升的性能和體驗
通過軟體更新,Jetson Orin Nano Super 也将為已有 Jetson Orin Nano 開發者套件的用戶提升生成式 AI 性能。
黃仁勳表示,Jetson Orin Nano Super 非常适合那些希望在生成式 AI、機器人技術或計算機視覺領網域發展技能的人士。在 AI 領網域從任務專用模型向基礎模型轉變的趨勢下,它也為開發者提供了一個将創意變為現實的易用平台。
為生成式 AI 提供強勁性能
Jetson Orin Nano Super 性能增強,為所有流行的生成式 AI 模型,例如 Meta 的 LLaMA、阿裡巴巴的通義千問以及谷歌的 Gemma。這款套件基于 Transformer 的計算機視覺模型帶來了顯著提升,進一步提升效能表現。
該公司表示,開發者套件包括一個 Jetson Orin Nano 8GB 系統模塊(SoM)和一個參考載板,為邊緣設備 AI 應用的原型設計提供了理想平台。
系統模塊采用 NVIDIA Ampere 架構 GPU,配備張量計算核心(Tensor Cores)和 6 核 Arm CPU,能夠處理多個并行 AI 應用管道,并提供高性能推理能力。此外,它還支持最多四個攝像頭,分辨率和幀率均高于前代版本。
英偉達強調,随着 AI 技術逐漸從雲端走向終端,實體 AI 将是下一波發展重點,Jetson Orin Nano Super 不僅可以用于開發聊天機器人,也适合簡歷視覺 AI 代理或部署 AI 機器人等應用。
廣泛的生成式 AI 軟體生态系統與社區
此外,英偉達 Jetson AI 實驗室提供對最新開源社區模型的支持,以及易于使用的教程。開發者還可以從更廣泛的 Jetson 社區獲得支持,并從其他開發者的項目中獲得靈感。
Jetson 支持英偉達的 AI 軟體,包括用于機器人技術的 NVIDIA Isaac、用于視覺 AI 的 NVIDIA Metropolis 和用于傳感器處理的 NVIDIA Holoscan。通過 NVIDIA Omniverse Replicator 生成合成數據,以及使用 NVIDIA TAO 工具包微調來自 NGC 目錄的預訓練 AI 模型,開發時間可以大幅縮短。
Jetson 生态系統合作夥伴提供額外的 AI 和系統軟體、開發工具以及定制軟體開發服務。他們還提供與攝像頭及其他傳感器相關的支持,以及載板和產品解決方案的設計服務。
為所有 Jetson Orin 用戶解鎖性能提升:Super 模式
英偉達也宣布将為 Jetson Orin NX 和 Nano 系列的系統模塊提供軟體更新,讓它們也能享受到 Super 模式的性能提升,最高可達 70%。這些更新将通過 Jetpack SDK 管理器發布在英偉達網站和 GitHub 上。
Jetson Orin Nano Super Developer Kit 預計很快就會通過全球經銷商開始供貨。對于想要入門 AI 開發的學生、工程師或創客來說,這款開發套件提供了一個經濟實惠且功能強大的平台選擇。
英偉達将 Jetson Orin Nano Super Developer Kit 定位為推動生成式 AI 技術普及化的關鍵產品,希望在智能交通、零售管理以及物聯網(IoT)應用中大放異彩。
本文來自微信公眾号 " 硬 AI",關注更多 AI 前沿資訊請移步這裡
>