今天小編分享的科學經驗：加速AI推理，探索英特爾® 至強® 可擴展處理器在OCR應用落地方面的實踐，歡迎閱讀。
利用 AI 加速企業業務的自動化進程，推動業務流程的數智化重塑或更新，已經成為企業提升工作效率、助力商業創新的重要方式。在此過程中，由 AI 賦能的智能光學字元識别 ( OCR ) 應用發揮着日益重要的價值。
随着人工智能技術的發展，由 AI 賦能的 OCR 已經在金融、政府、制造、互聯網、醫療等行業的單據識别、信息流入、圖片翻譯、車牌識别等場景得到廣泛應用，幫助企業有效地釋放人力資源，提升工作效率，為廣泛的數智化應用提供基礎能力支撐。
部署智能 OCR 應用能為企業業務及 AI 應用布局帶來哪些回報？
用友算法工程專家宋祺、亞信科技產品運營專家呂瑩、東軟集團醫療保障事業部產品發展部部長黃小衛、英特爾人工智能軟體架構師桂晟、虎博科技創始人 &CEO 陳烨，圍繞《從 OCR 起步推進企業 AI 應用落地》這一主題進行了精彩的分享。
AI 賦能 OCR，助推企業增效降本
随着當前大語言模型的發展，OCR 技術将會成為大語言模型應用的一個重要入口和前置的輸入來源。OCR 本身是個很大的市場，其算法和程式需要部署在很多地方，可能是公有雲、私有雲，或者是邊緣的本地伺服器，甚至是一些終端設備上。
有非常多的軟體開發商和算法供應商參與其中，廠商們通常需要一個更有成本優勢、硬體适配性更廣的解決方案。
總體看來，用戶有如下亟待解決的兩個問題：
一是要解決使用 GPU 帶來的高成本和難部署問題；二是要提高 CPU 的計算性能。
為此，用友、亞信、東軟選擇與英特爾合作，借助英特爾 ® 至強 ® 可擴展處理器的強大性能和内置 AI 加速器提升 OCR 應用性能，賦能客戶加速數智化轉型。
優化 OCR 應用性能，充分釋放 CPU 計算潛能
用友算法工程專家宋祺分享了《英特爾 AI 加速技術在用友 OCR 場景的應用》。
為了兼顧 GPU 利用率和調用峰值服務的可用性，在月末報銷量大、服務調用都集中時，用友采用了一套異構處理器的服務架構，即利用搭載了 OpenVINO ™️ 工具套件的英特爾 ® 至強 ® 可擴展處理器将高峰期的數據分流。僅需增加兩台 16 核的 CPU 伺服器，即可滿足峰值，使峰值時的 GPU 使用數量降低了 50%。
經過 OpenVINO ™️ 工具套件優化的算法服務，響應時間降低到 3 秒以内，使得在切換整個處理架構時不會影響整體的業務響應時間和對應的時延，對用戶是無感知的。
亞信科技產品運營專家呂瑩介紹到：亞信科技機器人流程自動化平台（AISWare AIRPA）是通過模拟并增強人類與計算機的互動過程，實現工作流程自動化的平台。其在 RPA 功能的基礎上，提供了強大的智能 OCR 支持。
在智能 OCR 應用中，亞信科技通過第四代至強 ® 可擴展處理器和英特爾 ® AMX 支持實現從 FP32 到 INT8/BF16 的量化，從而在可接受的精度損失下，增加吞吐量并加速推理。
從結果上來看，相比傳統人工方式，成本降到至 1/5 到 1/9 之間，而且效率還提升約 5-10 倍。
東軟自研的 OCR 識别算法是基于深度學習主流技術實現的，能夠在復雜的背景下識别出不同醫院、不同格式的票據、處方、發票、費用清單、明細等票據信息。在英特爾 ® 至強 ® 可擴展伺服器和 OpenVINO ™️ 環境下，它能夠獲得更高的識别準确率和更快的識别速度。
并且東軟在方案設計的階段就和英特爾公司合作，采用不同代際的至強 ® 可擴展處理器的伺服器來進行整體算法性能的驗證。最終實驗結果表明，在第四代英特爾 ® 至強 ® 可擴展處理器上采用 OpenVINO ™️ 進行模型推理加速将大幅提升 OCR 的識别性能。
這些 OCR 應用的成功應用，都少不了英特爾軟硬體產品的加持。
英特爾人工智能軟體架構師桂晟表示，随着英特爾 ® 至強 ® 可擴展處理器的演進，單個 CPU 的核心數量不斷增加，從第一代的最多 28 核增長到第四代的最高 60 核，核心數量的增多帶來了更加強大的算力。
除此之外，英特爾還在 CPU 指令集方面專門為人工智能應用進行了很多優化，例如英特爾 ® AMX。英特爾 ® AMX 針對廣泛的硬體和軟體優化，通過提供矩陣類型的運算，顯著增加了人工智能應用程式的每時鍾指令數 ( IPC ) ，在 AMX 加速引擎的助力下，至強 ® 可擴展處理器不僅能用來做推理，還能用來處理一些機器學習訓練的工作負載。
大模型技術驅動下，OCR 未來路在何方
大模型技術會為 OCR 及相關應用帶來哪些新的變革？将如何為各行各業賦能？在本場研讨會的最後，虎博科技創始人 &CEO 陳烨圍繞《大模型落地應用思考，展望 OCR 及相關應用的新技術發展》進行了詳細的分享。
談到智能 OCR，陳烨表示其產品的關鍵點主要有兩個：一是知識庫建立要準，要真正把檔案理解好，把它轉化成知識庫和大模型能夠理解的形式；二就是大模型。
而虎博科技的定位就是給大家提供一個基礎模型，使用戶可以基于基礎模型迅速打造出自己領網域裡的大語言模型和應用。
陳烨認為這整個旅程才剛剛開始，虎博科技很期待和大家、生态夥伴、開發者、應用者，一起來見證接下來人工智能 NLP 大語言模型令人興奮的、繁榮的幾十年。
>
