今天小編分享的教育經驗:索尼将智能化拍攝帶入高校課堂,錄課不用攝影師也能搞定?,歡迎閲讀。
高品質影像依舊是核心長板。
來源 | 多知網
演講嘉賓 | 賈導
整理 | 張蔚斐
攝 | 馮玮
今年初,索尼發布了一款可以解放教師雙手、自動化拍攝、構圖專業的 4K PTZ 智能中心構圖攝影機新品。
在我們還在尋找 ChatGPT 與人工智能在教育行業的應用與變革時,索尼已經交出了一份答卷。
索尼的新品可以通過 AI 算法實現教育場景中智能化視頻拍攝,幾乎能替代攝影工作者,解決教育行業有錄課需求,但缺少專業攝影師的痛點,是人工智能在教育應用領網域中的一次突破。
7 月 11 日,索尼消費電子與專業系統本部市場總部,影像方案及移動通信市場部高級經理,影像與分析產品負責人賈導以 " 人工智能讓拍攝更智慧 " 為題,在第 41 期多知 OpenTalk 的現場分享了這款 PTZ 智能中心構圖攝影機。
(以下為演講全文,經多知網編輯整理)
索尼影像方案及移動通信市場部高級經理賈導
索尼的產品在很多高校都有廣泛應用,例如清華大學混合課堂用的攝影機、上海交大用的雲台攝影機等等。回到今天的主題 " 探索教育智能硬體的未來 ",那麼,索尼在教育場景裏的影像產品長什麼樣?智能硬體到底幫助大家做什麼?
01
自動化的教育場景視頻拍攝,解決行業痛點
當今不僅很多學校、教育機構都有錄課的需求,在實際的教學場景中,還出現了更加復雜的教學場景—混合課堂,即一部分學生在現場、一部分學生在線上。復雜的應用場景對于影像拍攝的質量、操作智能化程度,都提出了更高的要求。
在實時錄課、在線傳播過程中,大家發現這并不是一件輕松的事情。課堂中,老師不斷走動,很容易就走出畫面,網絡稍有延遲就導致傳播中斷,畫質不清、焦點模糊、光線昏暗、現場操作人員不足等種種問題存在于實際教育場景應用中。
基于教育行業的需求和索尼的 AI 技術沉澱,索尼推出了具有人工智能分析的 PTZ 智能中心構圖攝影機 SRG-A40 與 SRG-A12 兩個型号的新產品,它們的亮點在于能很好的解決智能化、自動化視頻拍攝的痛點。
例如,老師在講課走動時,過去的操作是由其他攝像師轉動機器,尋找老師的畫面,将人物置于 C 位。現在,索尼的設備會自動捕捉選定人物、追蹤人物軌迹,即使畫面中出現其他人,也不會丢失追蹤對象。省去了以往攝像老師盯着設備手動調整畫面的操作,使拍攝更自動化,節省人力。
這款產品重點關注的行業包括教育、體育、醫療、政府、媒體等,這些行業的共同特點就是沒有太多專業的攝影機操作人員,特别是教育行業,對操作簡單、自動化程度高的教學設備需求很大。
索尼 SRG-A40/A12 PTZ 智能中心構圖攝影機
強大的畫面捕捉算法和高清成像質量,即使沒有專業的攝影師,也能拍出高質量的課堂。除此之外,它還能解決攝像人手不足的問題。以往,一台攝影機旁往往還需要配一個攝像師管理設備,如果遇到多位教師錄制,就面臨人手不足的情況。PTZ 智能中心構圖攝影機可以自動在台後端進行操作。只需要一位老師就可以用該攝影機負責多間課堂的影像采集工作。
對于有錄課需求、課堂轉播需求的學校和機構來説,自動化、智能化程度高的攝影機讓教育行業智能化加快了腳步
02
AI 構圖,通過算法實現專業拍攝
索尼的 PTZ 智能中心構圖的核心優勢有三點:
其一,全自動操作,通過我們平台實現全自動地搜尋拍攝目标,并且開始跟蹤;
其二,構圖模式與細節調整,滿足教育智能化裏面不同的場景的構圖;
其三,内置人工智能分析能力,對于供應商或集成商來説,可以節省成本,減少系統的節點;
PTZ 智能中心構圖功能的關鍵是得到原生畫質。對比普通的攝影機來説,照相機要實現中間有人的構圖裁切,是通過裁切固定的 4K 畫面中的一部分得到的,這種方式是低質量的,我們的攝影機通過 Pan/Tilt/Zoom(平移 / 俯仰 / 變焦)三大操作,大家得到的是高品質原生畫面。
在跟蹤拍攝方面,PTZ 智能中心構圖攝影機會進行面部識别,骨骼框架識别,對于檢測到的拍攝者的骨骼框架進行多位置打點,分析計算每一個微小動作,并給出行為指令到雲台。
通過 SRG-A40/A12 智能中心構圖功能,包括内置的核心處理芯片,索尼攝影機可以實現全身、半身、特寫等多種構圖切換。
演講者被識别之後,能夠始終處在畫面的中心位置,不會丢失拍攝目标。在構圖方面,拍攝目标始終處于 C 位,即使演講者有些輕微的動作,或者有幹擾性路人穿插的時候,算法也能給出合理的構圖,攝影機始終追着演講者。
03
高品質影像依舊是核心長板
索尼除了在 AI 方向的探索外,核心優勢仍然在于高品質影像。
索尼的成像器技術采用 Exmor R 背照式成像器,通光量提高,在暗環境也可以拍出好的畫面。用 Exmor R 的成像器能夠采集低噪點、高質量的影像,華為手機、蘋果手機裏面的成像器大部分應用到了索尼這一項核心器件。
超分辨率技術使光學變焦倍增,加上清晰影像變焦功能和長焦轉換模式,通過裁剪影像傳感器的中心部分,A40 在高清模式下攝影機可以擴展到 80 倍變焦,即使在階梯教室也能拍出高質影像。A12 可達 24 倍變焦。
在寬視角方面,索尼以往的 PTZ 攝影機攝影機視角大約為 65 °,索尼新品則達到約 70 °,寬視角使捕捉到的畫面更加寬廣。
索尼始終将用户的體驗擺在第一位。以校園為例,老師在上課的過程中,可能會用到很多工具,電腦、翻頁筆、話筒等,如果想轉播課程,可能還需要在現場配備多名操作人員,對課堂環境有很大的影響。在使用場景中,老師肯定是希望場景中的設備越少越好,最好達到無感的操作環境,不影響上課。PTZ 智能中心構圖攝影機 SRG-A40/A12 能做到的就是自動化操作,不需要過多的人員在現場,幹擾課堂。
我們不想讓硬體加重老師的負擔、剝奪了教師本該履行的職責,更不能讓他分心。我們做產品一定不能脱離教育本身的邏輯。
在教育智能化的探索過程中,索尼一直希望可以提高技術支持。從攝影機實現影像的采集、吸頂麥克風實現聲音采集、再到商用顯示器實現影像顯示等,索尼專業產品都可以在教育環境中呈現。
具有人工智能分析功能的 PTZ 智能中心構圖攝影機正在逐步改變教育場景化的未來,基于人工智能技術呈現出的高清影像畫質,為還原一堂精彩紛呈的沉浸式數字課堂提供了強有力的技術支持。
以上就是我們今天關于索尼智能硬體的分享。感謝大家。
04
Q&A
(與觀眾互動交流)
提問:您好,我是元宇宙硬體銷售代理商,也是一個消費者,攝影機這種場景我們經常會應用到,我們公司開線下沙龍就需要攝影師,不同的分享者間隔時間有長有短,這樣的情況下,是不是後台需要有一個人操作?
賈導:比如今天有三位嘉賓,輪流演講,如果時間過長,為了保證會議效果,最好有一個人在後台進行手動選擇,然後保持準确構圖和跟蹤,選擇哪位演講者,鏡頭就會一直跟着他,可以是嘉賓自己通過系統點擊選擇,給他設計一個很簡單直觀的操作界面,也可以是後面一位工作人員進行輔助。
提問:我是一家咨詢公司的市場分析師,比較關注咱們現在這套解決方案在教育場景是不是已經有落地?如果沒有的話,未來期望的落地方向有哪些?
賈導:這個產品今年 1 月 31 号全網發布,真正供貨是 6 月初,在這之前進行了很多線下市場推廣活動,例如在全國進行的 11 站線下推廣沙龍活動等。
我們的第一個案例來自于紐約大學上海校區,他們的學生有的在國外通過線上上課,有的在線下,他們的用法是把我們這些 AI 功能都用上,并且能夠通過索尼免費的虛拟攝像頭驅動軟體,很方便接入到軟體平台,不需要采集卡。
在國内,我們還和東亞銀行等進行合作。
關于我們的銷售規模和預期,目前大部分市場還是留給國内的錄播一體的平台,而索尼這部分切入的目标市場有所不同,索尼的攝影機在國内的教育領網域更多的是針對精品的 AI 智能混合課堂,而不是泛市場的錄播系統。
提問:這個攝影機能美顏嗎?
賈導:這個功能我們產品暫時沒有加入,但是在新產品的設計時,會審慎的考慮用户的需求。索尼影像產品一直以來堅持真實還原,例如我們的相機、攝影機的使用者大多是進行藝術創作,因此索尼呈現的是一個沒經過任何處理的原生畫面,在這個基礎上他們進行二次創作。但未來在教育、工作場景中如果客户有這方面需求,根據市場反饋,我們會考慮進行功能更新。
提問:大家非常關心的一個問題是,跟蹤老師到講台的時候,板書或課件是否能看得清楚?
賈導:我們今天的這款機器是一款 4K 攝影機,紐約大學之所以選擇我們,原因之一就是因為我們拍的板書很清楚。另外,采用索尼的另一款 AI 設備,可以把板書提取出來,在老師的前面形成板書的畫面,從後面提取到前面,讓線上線下的觀眾,通過顯示器可以清楚看到板書。課堂中最主要的信息是板書,板書的前置提取,都可以通過影像采集和 AI 分析的技術實現。
提問:如果是兩個老師在台上,攝影機怎麼追蹤呢?
賈導:目前來講,如果兩個人都出現,兩個人臉上都有選框,自動模式會優先選擇第一個進來的人。也可以手動幹預進行點選,這是 1.0 的版本。
未來是會考慮一個問題,如果這兩個人是分道揚镳,你往這邊走,我往那邊走,怎麼辦?PTZ 攝影機是物理雲台在動作,AI 算法給出雲台指令到底跟誰,這有一定的邏輯難點,索尼也在研究這個場景的下應該給出什麼樣合适的構圖。
OpenTalk 第 41 期相關内容: