今天小編分享的互聯網經驗:航運大數據平台“船視寶”:如何幫助數十萬艘船智能決策?,歡迎閲讀。
本文摘自《雲栖戰略參考》,這本刊物由阿裏雲與钛媒體聯合策劃。目的是為了把各個行業先行者的技術探索、業務實踐呈現出來,與思考同樣問題的 " 數字先行者 " 共同探讨、碰撞,希望這些内容能讓你有所啓發。
将行業知識與數字化技術相結合,從而賦能自身業務發展,并且憑借能力外溢打造行業模範與底座,是很多大型企業成立數科公司後業務獨立運營的考驗,但究竟如何才能取得顯著成績,各方仍在持續探索。
中遠海運集團是全球最大的航運公司之一,覆蓋了船舶設計、船舶制造、航運服務的全生态產業鏈。在航運這一垂直領網域,中遠海運集團絕對具備充足的行業 Know-how,如何将企業能力轉化成為整個行業的能力?這一任務落到了集團下屬科技板塊中遠海運科技股份有限公司(下稱 " 中遠海科 ")肩上。
近年來,中遠海科不斷在數字化技術以及 AI 大模型應用領網域積極探索。通過與擅長技術的阿裏雲攜手合作,構建起服務于整個海運行業的全新數智底座 —— 船視寶,已然在數字化技術與 AI 大模型的嘗試中邁出了領先的步伐。
航運數字化轉型的時代命題
在交通領網域之中,尤以航運行業的數字化進程最為復雜。
海運行業雖然傳統,但它藴含了大量的數據,包括各個港口的物流信息,運輸的船舶信息,以及物流供應鏈的變化情況等。比如,一條船最多可以裝 27000 個貨櫃貨櫃,每個櫃子裏可能有上萬票貨,整條船藴含的數據量就更加龐大。而且,海運承擔了 90% 的全球貿易量,其藴含的數據足以反映全球物流供應鏈變化、甚至全球經濟發展走勢。此外,當前中國企業出海也需要航運數字新基建來完善全球的供應鏈管理,打造海運數字新基建勢在必行。
作為行業龍頭,中遠海運更是切身感受到行業面臨的挑戰。中遠海科研發創新中心總經理韓懿介紹,中遠海運集團的數字化目标主要有三個,即提高航運安全性、實現低碳的可持續發展目标,以及賦能供應鏈發展。
" 航運業的業務數據量大,且數據主體還非常復雜且眾多。" 韓懿指出," 在數字化之初,我們也面臨着如何匯聚海量業務數據,深挖數據資產價值等問題。"
其實,整個行業船舶的自動化程度非常高,全球公共開發的數據包含船位數據、港口檔案、船舶檔案等,只要大家願意付出一定的經濟成本都可以獲取。
但難點在于利用這些信息進行整合分析,為決策提供助力。比如通過解析一條船的過去、現在和未來的全生命周期行為,進而實現安全、效率等管理決策,優化能耗、碳排放,決定技術改造、拆舊換新等;結合天氣數據、位置信息、港口數據等預測運力、路線情況,為運力規劃、航線判斷以及航行中面臨的各種未知風險提供參考。
基于上述痛點,中遠海科推出了 " 船視寶 ",通過綜合應用大數據、雲計算、人工智能等技術,建立了基于全球船舶位置信息的航運數據中台,自主研發出面向海事監管、航行安全、船隊運營、全球供應鏈優化等領網域龐大的數字化產品集,為行業用户提供更智能、便利、敏捷和低成本的數字化服務。
大數據 + 雲計算,打造航運數字底座
作為航運大數據平台,船視寶有一套完整的從感知到識别、分析、應用的全鏈路業務邏輯。
在船視寶可視界面的諸多集成應用背後,是以多源異構數據的實時采集與融合技術、船舶行為和态勢智能感知與識别技術為基礎,進一步實現航運業務智能理解與推斷。
整體來説,第一步是對多源異構信息進行實時采集與融合。通過研究多源異構大數據的高效融合、表征、存儲和檢索方法,構建了時空索引和湖倉一體數據中台。
比如,針對船、岸、星各類船舶位置數據,形成了流批一體的數據實時接入與高效解碼方法,研究了基于深度學習的數據質量控制技術,高效識别和處理船舶船位數據重復、MMSI ( Maritime Mobile Service Identity,水上移動業務标識碼 ) 套牌、MMSI 更換、船位數據缺失等數據異常和質量問題。并針對船舶檔案數據,重點研究基于相似船舶聚類分析的船舶異常資料欄識别和處理技術,缺失數據回填技術等。還對港口與海洋專題數據采集與預處理,構建了全球電子海圖數據、洋流、氣象等數據的采集、處理和時空配準、對齊和融合方法。
第二步是對船舶行為和态勢進行智能感知與識别,實現復雜交通環境下海洋運輸行為态勢的智能感知。
通過融合多源異構信息構建時空數據庫,基于語義推理和空間計算,構建了準确完備的船舶行為狀态标識模型,對船舶行為狀态進行時空标識。基于此,針對船舶各自獨立行為進行綜合時序分析,結合多源數據融合和深度學習理論與遷移學習理論,對海量數據自主标注,提出了船舶綜合行為理解方法。
由此,可實現船舶常态與非常态行為特征提取。例如研究常态化場景(如加油、裝卸等)在不同水網域的行為特征,建立分析模型;針對非常态行為(如船舶失蹤、偏離航線等),通過大數據分析、人機互動和人工智能技術,獲取航行規律,監測異常行為。
以上構成了船視寶對航運業務進行智能理解和推斷的基礎。
最早,中遠海科用開源物聯網數據庫 TiDB 處理全球的公共數據,當數據量到了八十多億條記錄的時候,整個系統就癱瘓了,靠傳統數據庫根本無法支撐。
後來中遠海科則利用阿裏雲提供的雲原生數據庫引擎和阿裏雲時空數據庫引擎 Ganos,為大數據的實時查詢加速以及多項軌迹管理挖掘功能提供了強有力的支撐。
基于阿裏雲的 PolarDB-PostgreSQL 雲原生數據庫產品,實現了海量船位數據實時寫入、基于原始數據的基本處理、Ganos 相關計算場景,以及定時任務多表關聯查詢、航運大數據指标分析、Ganos 實時熱力圖場景等功能。
" 在海上沒有路網,如何進行路徑規劃和智能推薦,以及實時顯示數十萬艘船舶最新的位置點,并進行動态更新是個難題。" 韓懿指出。
與此同時,如何進行區網域船舶聚類分析與軌迹實時熱力圖繪制也是在應用過程中不可避免需要面對的挑戰。
在這個過程中,中遠海運依托于阿裏雲提供的時空數據庫引擎 Ganos,支撐船視寶多項軌迹管理挖掘功能,實現了億級船舶軌迹數據管理挖掘。
之後,在第三步分析階段,以融合的多源數據為驅動,以機器學習、關聯學習算法為工具,深度挖掘數據中的隐藏模式和規律,并關聯協同各業務場景,探尋生產經營指标間的内在邏輯,開發了運營效率對比指數、空載船舶指标、船舶能耗、港口擁堵等描述型數據服務體系。 同時結合阿裏雲大數據技術,實現了航運數據在雲上的價值分析,賦能安全、運營和航運配套。
最後是產業應用集成與部署階段。通過匯集各業務場景下的算法開發與應用操作,集中管理數據、代碼、算法模型等資源,并針對產業需求研發集成應用平台系統,涵蓋船舶調度、搜索、管理、安全、應急、商品、指數、競争等應用。
應用集成也非常靈活,通過微服務架構 ( Microservice Architect ) 模式,将架構中的各應用劃抽成一組小的服務,服務之間互相協調、互相配合。此外,還引入前後端分離的架構風格,後端負責業務 / 數據接口,前端負責展現 / 互動邏輯,同一份數據接口,可以快速定制開發多種版本。
由此,船視寶航運大數據平台一方面形成了實時的遠程監控、遠程調度的基礎能力;另一方面,基于服務航運行業多年來的業務經驗,加上模型和算法的能力,可以監測、甚至預測一艘船的 " 健康 " 狀況,并根據數據分析,幫助船舶經營公司提升船舶維修保養的輔助決策能力。
與此同時,還可以通過動靜态結合的數據為海上的船舶提供實時的信息,比如根據對氣象數據的分析,告知海運企業所屬船舶在運輸過程中可能遇到什麼樣的風險。
以阿裏雲的大數據與雲計算技術為底座,再加上中遠海運在航運行業多年積累的行業 Know-How,船視寶一經推出,就受到了業内眾多的好評。
從 2019 年 9 月開始研發,2019 年 12 月第一個產品 " 調度寶 " 上線運行,船視寶經過 4 年多 250 多個版本迭代發布,發展至今上線 16 個 SaaS 產品、43 個小程式、46 個 APP、100 多個場景組件、310 個功能、1000 多個 API,服務 1300 多家企業用户、PC 端用户 2.8 萬人、小程式用户 9.7 萬人。
同時," 船視寶 " 正與航運相關產業開展鏈式互動,例如,與中遠海運能源船舶管理平台、中遠海運散運 " 船貨易 " 平台、寧波海事局深藍智享平台等項目對接,為其提供數字化服務。
GenAI 已至,大模型賦能航運智能化新時代
随着生成式 AI 的問世,新一輪人工智能革命正在重塑各行各業,航運行業也加速步入 " 智能化新時代 "。在船視寶使用 AI 大模型賦能應用方面,中遠海運也在與阿裏雲展開深入的探索。
早期,中遠海運與阿裏雲基于通義千問開源大模型,對船視寶進行了 "AI 更新 "。
與通用大模型不同的是,針對航運行業而言,需要利用大量行業專有數據對大模型進行訓練,雖然模型的參數并不需要很大,但是在訓練和調優的過程中,需要大量優質的航運行業專有的數據。
除了專有的知識型數據以外,企業還需要将大模型的能力與原有產品結合的能力,這個過程中就需要很多實時性的數據。
以海運行業為例,海運船舶需要實時的掌握全球航道的信息。比如問大模型紅海現在通行情況 ? 如果沒有這些實時的數據源,任何大模型都答不上來。而這恰恰是行業大模型的重要特點和顯著優勢。
面對行業大模型落地的挑戰,中遠海運一方面通過整合航運業務經驗、航運專業語料及信息數據,構建全面的航運知識圖譜,形成了專業的知識數據集。
進而,再通過阿裏雲通義千問算法工程師的介入,将知識圖譜與通義千問大模型關聯,最終實現智能對話功能,向用户提供準确的航運信息及決策支持。由此,中遠海運自主研發的航運領網域垂直大模型 Hi-Dolphin 應運而生。
" 有了 Hi-Dolphin 大模型加持後的船視寶,極大提升了數據處理的實時性與響應能力,支撐航運企業的數字化轉型。" 韓懿如是説。
比如航運知識層面,通過整合航運業務經驗、航運專業語料及信息數據,構建全面的航運知識圖譜,包含海事法律法規超過 1000 條,并将知識圖譜與通義幹問大模型關聯,實現智能對話功能,向用户提供準确的航運信息及決策支持,極大提升了數據處理的實時性與響應能力。
航運數據層面,通過大模型對接了數十個航運數據分析 API 接口,提供實時可靠的航運數據查詢服務,包括智能找船、船舶檔案、船舶事件、港口動态,将通義幹問的語言理解能力、概括表達能力結合了搜索插件,有效解決新知識難更新、時事類問答容易 " 張冠李戴 " 等問題。
運力預測層面,通過大模型語義理解能力,可以通過自然語言與系統互動,快速獲取所需的航運信息和建議。通過融合船舶與港口全生命周期數據、氣象數據和地理信息數據等多源異構數據,利用大模型對數據中的時空信息實現深度挖掘和綜合學習,能夠實現對未來多港預測和預抵時間等下遊多種任務的精準預測。
智能應用層面,智能化更新了事件回溯、AI 探索等多個應用,以 " 角色模拟 " 應用為例,用户根據自身在航運領網域中的特定角色,如船長、輪機長等,進行針對性的專業問答,大模型通過深入理解各個角色的專業需求和日常操作流程,為用户提供定制化的信息檢索和決策支持服務。無論是關于航線規劃、貨物管理、船舶維護還是海事法規咨詢,都能夠提供精準、及時的問答服務。
展望未來,在韓懿看來,大模型在企業中的應用主要要發揮兩個作用," 一種是應用模型,相當于一個‘實習生’,獲取數據、整理數據并且進行文書表達;另一種是加入科學計算模型,加入運力模型,進行預測決策,成為真正的‘骨幹和專家’。"
目前,航運大模型對外服務着船視寶行業客户的 10 萬多個用户;對内,有包括散貨、特貨、能源、物流、港口等板塊在内的眾多中遠海運二級企業。
随着中遠海科與阿裏雲共同推進數據治理和 AI 大模型應用不斷深入,船視寶應用日趨完善,發揮着航運業數智新底座的作用,距離中遠海科成為 " 交通與航運科技創新和數字化產業标杆企業 "、打造集團科技創新和數字化產業平台的願景也更近一步。
本文摘自《雲栖戰略參考》總第 16 期
掃碼限時申領紙質版
↓↓