今天小編分享的科技經驗：Intel酷睿Ultra NPU AI加速庫開源：但功能殘缺不全，歡迎閱讀。
快科技 3 月 4 日消息，Intel 已經将 NPU 加速庫開源并放上 GitHub，使得基于酷睿 Ultra 處理器的 AI PC 可以運行 TinyLlama、Gemma-2b 之類的輕量級大語言模型。
酷睿 Ultra 首次引入了 NPU AI 引擎，可以執行一些輕負載的 AI 推理任務，并與 CPU、GPU 搭配處理各種 AI 工作。
這次開源的 NPU 加速庫，當然是面向開發人員的，但如果你有一定的編程經驗，也可以拿來體驗體驗。
Intel 軟體架構師 Tony Mongkolsmai 展示了利用此開源的 NPU 加速庫，在一台微星尊爵 14 AI Evo 筆記本上，基于 11 億參數的 TinyLlma 大模型，運行了一個 AI 聊天機器人，可以進行簡單對話。
同時，Windows 任務管理器顯示，NPU 确實被調動起來了。
不過，開源 NPU 加速庫目前的功能還很殘缺，支持了 8 比特量化、FP16 精度，但還不支持 4 比特量化、BF16 精度、NPU/GPU 混合計算等等，技術文檔也沒有。
Intel 承諾，後續會逐漸增加更多功能，比現在要多一倍。
