12 月 3 日,2023 IoTDB 用戶大會在北京成功舉行,收獲強烈反響。本次峰會匯集了超 20 位大咖嘉賓帶來工業互聯網行業、技術、應用方向的精彩議題,多位學術泰斗、企業代表、開發者,深度分享了工業物聯網時序數據庫 IoTDB 的技術創新、應用效果,與各行業標桿用戶的落地實踐、解決方案,并共同探討時序數據管理領域的行業趨勢。
我們邀請到中核武漢核電運行技術股份有限公司主管工程師方華建參加此次大會,并做主題報告——《IoTDB 在核電數字化轉型過程中的應用實踐》。以下為內容全文。
各位領導、嘉賓、同仁們下午好,今天我分享的主題是《IoTDB 在核電數字化轉型過程中的應用實踐》。
今天我的分享分為三個部分,第一個部分是核電數字化產品的研發,第二部分是核電數字化應用的支撐,第三個是我們對 IoTDB 在核電數字化的未來進行一個應用展望。
01 核電數字化產品研發
首先,第一部分,核電數字化產品研發。在介紹核電數字化產品研發之前,不得不提一下我們重要的核電數字化產品 DHP 平臺,什么是 DHP 平臺?DHP 是新一代以信息技術為基礎的數字化轉型技術底座,是中國核電工業互聯網平臺,我們簡稱它為大核源平臺。它是中核武漢基于 30 余年核電運維領域深耕積累,以需求為牽引,以先進技術為重要抓手,推進核能產業和新一代數字技術深度融合,自主研發的集團級工業互聯網基礎設施平臺。
DHP 有以下兩大特點:第一個是設備互聯,數據互通。我們通過物聯網、邊緣計算等技術,有效集成了中國核電海量的工業設備與系統數據,打通各類生產要素數據通道,形成智能物聯。我們開發了核電大數據平臺,整合現有系統,解決了現有信息系統數據貫通的問題。我們提供大數據、人工智能分析的算法模型和物理、化學等各類仿真工具,結合數字孿生、工業智能等技術,對海量數據進行了挖掘分析,提升數據價值。
第二大特點是知識積累,快速創新。我們把大量的工業技術原理、行業知識、專家知識規則化、模型化、軟件化,封裝成一個個可重復使用的微服務組件,實現知識固化和積累、復用。最終我們將一個個的知識封裝成適用于核電特定應用場景的工業 App,實現核電領域的應用創新。目前,我們的核電工業互聯網平臺 2.0 版本已經發布,2.0 版本采用工業互聯網技術,支撐了 21 個核電領域特色應用系統的開發、運行和維護。
第二個講一下我們 DHP 平臺的一個部署落地情況。目前我們的 DHP 平臺已經在中核集團數據中心部署了中心側的核電工業互聯網平臺(DHP)。另外,我們分別在秦山核電、江蘇核電、福清核電、海南核電、三門核電、漳州能源六大核電基地部署了電廠側的核電工業互聯網平臺,簡稱是 DHP-C,中國核電六大核電基地目前都已經實現關鍵業務和應用上平臺。我們的平臺基于云邊協同、安全可靠的路線,實現了應用、數據、模型,運維等多維度的云邊一體、互聯互通,支撐了集團型企業“一總部多基地”的集中分布式管控。
我們的核電工業互聯網平臺也匯聚了核電領域多種生產要素,沉淀了一系列的標準工具和軟件。在工業數據數量方面,我們實時接入了數據測點有 50.3 萬,日增 6000 多萬條時序數據,然后我們導入了大概有 5 年的歷史數據,低頻測點有 50 多萬,高頻測點有 360 多個;我們也接入了設備信息,大概是 200 多萬條,工單數據也有 300 多萬條,此外還有各種類型的業務系統數據。
在平臺標準數量方面:目前我們的平臺對外正式發布的標準將近有 90 個標準,囊括了總體的標準 45 項,還有數據標準 15 項、應用與開發標準 8 項等等。總的來說,我們的標準體系涵蓋了工業互聯網的邊緣接入、平臺資源,平臺層以及應用層的各個方面。
在工業設備數量方面,我們可連接的工業設備數量有 160 萬套,工業協議兼容適配數量目前是 14 種,包括了通用的 OPC 協議、Modbus 協議,還有 MQTT 協議、UDP 和 TCP 協議等等。
在工業模型數量方面,我們目前主要集成的是我們核電領域的行業機理模型,總共是 21 大類,251 個,包括了反應堆物理、燃料性能、燃料管理、輻射屏蔽、熱工水力、電氣等等多個方面。
最后在平臺開發者數量方面,我們的平臺開發者主要聚焦在核電領域,我們的第三方開發者注冊數量大概有 1500 多個,第三方活躍開發者目前是 800 多個。
接下來講一下我們核電工業互聯網平臺的時序數據服務系統。我們的核電工業互聯網平臺是以核電廠實際業務應用需求為牽引,采用先進的一些互聯網技術,主要是云技術、大數據技術和人工智能技術,開發的一套能夠支撐中國核電工業信息化系統開發、運維和持續升級的平臺,最終能夠滿足中國核電的業務應用需求。
我們的工業互聯網平臺主要由四個層次加上安全和標準組成,四層分別為邊緣接入層、資源層、平臺層和應用層。目前我們 DHP 數據平臺中的時序數據服務系統使用的是 IoTDB 進行時序數據的存儲、分析和處理。我們把各個核電基地的時序數據接入并存儲到我們在數據平臺的 IoTDB 中,并基于 IoTDB 開發了一系列通用的數據服務,為上層的一些應用提供服務,比方說應用層中的國產化安全生產管理系統、核電廠關鍵與敏感設備智慧管理系統、國產化設備可靠性管理系統、數字大修指揮中心、運行數字孿生、DCS 健康管理平臺等等,這些都是我們核電領域非常關鍵、核心的一些大型系統。
接下來講一下我們的時序數據服務系統目前的基本情況。自 2020 年 6 月起,我們陸續在三門、秦山、福清、江蘇、海南、漳州六大核電基地部署了我們的 IoTDB 時序數據庫,總共完成 50 余萬個測點的實時數據接入、存儲,采集了六大核電基地 2019 年 7 月至今的所有歷史數據,目前最新的時序數據總量是 4000 多億條,并且我們對六大核電基地每個電廠每個小時中接入的時序數據也進行了分時段的統計。另外,為了保證時序數據接入過程的穩定可靠,我們對時序數據的接入過程已進行了一系列的運維監控與報警信息采集,對各個機組的時序數據采集也實現了監控界面的實時反饋。
接下來講一下核電工業互聯網平臺中,我們的時序數據服務系統的架構。目前我們的時序數據服務系統分為總分式架構,我們在 DHP 平臺中心側部署了一套時序數據服務系統,另外分別在六大核電基地各部署了一套電廠側的時序數據服務系統,各個電廠的時序數據會實時地向 DHP 中心側進行匯聚和同步。
在了解完時序數據服務系統的架構之后,我再講一下我們選擇 IoTDB 的一個歷程吧。大體來講,我們經歷了三個階段:第一個階段是在 2018 年,我們啟動了核電工業互聯網關鍵技術研究項目,其中就包含核電工業時序數據關鍵技術研究,而其中最重要的一環就是時序數據的存儲。我們當時是選擇了 HBase,但是由于核電時序數據量巨大,遇到了很大困難。打個很簡單的比方,我們核電領域有低頻時序數據和高頻時序數據,高頻時序數據這一塊主要是振動數據。以振動數據為例,我見過頻率最高的每秒大概是 25000 Hz,就是說有的測點每秒會產生 25000 條數據,所以數據量是巨大的。
對于這種高頻和低頻時序數據的存儲場景,我們在使用 HBase 的時候發現,很多時候隨著數據量的增大一些關鍵的查詢并不能滿足我們的需求。比方說,我們查詢一個數據的快照值,也就是最新值,希望它在毫秒級完成,但是使用 HBase 的過程中,無論我們怎么優化,比如說通過增加一級索引、二級索引這種方式,我們發現快照值查詢也只能做到秒級,并不能滿足我們的業務需求,所以我們希望時序數據這塊能夠繼續得到性能提升。另外一個方面就是 HBase 的數據壓縮方面也不盡如人意,很快就會把我們的磁盤撐滿。我們計算過,一個大概 10T 存儲容量的 HBase 集群,不到半年的時間,差不多就可以把這個磁盤撐滿。
因為以上限制,在 2020 年,由于我們中國核電下發的一個工業互聯網平臺的研發課題,我們進入了第二個階段,就是我們需要去調研并制定專門的時序數據處理方案。我們當時選擇了最火的 InfluxDB,對 tags、fields 等都進行了針對性的設計,并將它應用于 DHP 的生產環境中,但是到了后面還是發現了一些問題。比如說在高并發場景的時候,大量歷史數據的獲取也會讓 InfluxDB 出現性能瓶頸;比如說查詢某個測點一年的歷史數據,InfluxDB 可能會出現分鐘級的響應,這些都不能滿足我們的性能需求。
工欲善其事,必先利其器。基于以上我們的應用實踐,我們發現并不能依靠 HBase 和 InfluxDB 解決我們的問題。然后,我們通過某次學術交流會議了解到了 IoTDB,這時我們進入了第三個階段。通過跟 IoTDB 核心研發人員的交流溝通,我們把 IoTDB 部署到開發測試環境,進行了全方位的性能驗證,發現它跟我們中國核電的時序數據存儲的特點非常匹配。我們制訂了詳細的時序數據的存儲結構,也進行了針對高頻時序數據的存儲設計。在此過程中,清華大學的 IoTDB 團隊,比如黃向東老師、喬嘉林博士也給予了很大的支持。我們已經將這套時序數據服務系統在中國核電六大核電基地上線,目前(性能)支撐非常好。
上面是講完了我們的時序數據服務系統,下面又是另外一個研發課題,就是我們的國產化時序數據處理系統。自 2013 年 1 月起,我們承擔了中國核電的集中研發課題:國產化時序數據處理系統。這個系統主要就是提供我們核電領域時序數據的一整套國產化解決方案。該系統主要由邊緣數據采集系統、歷史時序數據庫、實時數據庫、運維管理工具、數據組態、畫面組態等等一系列的配套工具組成。目前,我們使用 IoTDB 作為我們這個系統的歷史數據庫,計劃在福清核電和漳州能源試點應用。
我們的國產化時序數據處理系統的數據源包括 DCS 系統、PHM 系統、傳感器和其他的一些邊緣設備。在采集這一塊,我們在國產化時序數據處理系統中開發了一系列針對性的采集工具。在存儲這一塊,我們主要是依賴于 IoTDB。在數據服務這一塊,我們有兩種形式的數據服務,一種是 SDK,這塊主要是針對我們的程序開發人員;另外一種就是 RESTful API,這種主要是面向物聯網或者是工業互聯網領域的應用。國產化時序數據處理系統的最上層,是我們基于這些 API 或者 SDK 開發的一系列廠級的核電時序數據工具集,比如有數據分析工具、資產管理工具、安全工具、報警工具等等,計劃支撐一系列的核電應用。除此之外,我們還為國產化時序數據處理系統配備了一些配套工具,比方說邊緣采集器配置管理工具、數據組態工具、畫面組態工具以及數據遷移工具等等。
02 核電數字化應用支撐
講完了核電的數字化產品研發,下面講一下 IoTDB 對核電數字化應用的支撐情況。目前,我們以 IoTDB 作為基礎存儲底座,已經支撐了包括 ERMs,也就是設備可靠性管理系統、ASP-1(國產化安全生產管理系統)、ASP-2(核電廠關鍵與敏感設備智慧管理系統)、運行數字孿生系統在內的多個核電數字化應用,并為其提供多種時序數據服務,其中就包括:低頻時序數據的接入、存儲;高頻時序數據的接入、存儲;高頻和低頻時序數據的查詢,包括快照值查詢、歷史值查詢、插值查詢、聚合值查詢等等;還包括計算點數據寫入、模型訓練、數據樣本制作數據提供等等。
下面講一下具體支撐的應用情況。第一個是 ERMs,我們通過 DHP 平臺獲取了各個電廠 DCS 運行數據以及傳感器數據,存儲到 IoTDB 中。目前我們一共接入并存儲超過 160 萬臺電廠設備的數據,為 ERMs 應用提供多種形式的數據存取服務。ERMs 系統基于我們提供的數據服務進行專用功能模塊的開發,包括設備監督模塊、系統監督模塊,以及設備故障診斷、設備壽命預測等等。
第二個支撐的應用是 ASP-2(核電廠關鍵與敏感設備智慧管理系統)。這個應用主要是通過 DHP 平臺,獲取秦山、江蘇、福清、三門、海南 5 家電廠部分測點的歷年歷史數據,存儲到時序數據庫 IoTDB 中。然后我們通過 IoTDB 提供的部分測點的歷史數據,協助應用方進行全面的數據開發,并提供其他形式的數據服務。
第三個支撐的應用是汽輔泵故障診斷系統。這個系統是一個電廠側的數字化應用,這個應用比較特殊的一點就是,在這個應用支撐的過程中,我們第一次部署并應用了 Windows 版本的 IoTDB 數據庫,接入并存儲了汽輔泵設備數據和計算數據。然后我們基于 IoTDB 的原生 API,開發了通用的時序數據接口,為汽輔泵的故障診斷系統提供歷史數據、實時數據和插值數據的查詢。目前該系統已經投入運行一年,數據存儲和接口運行良好。
接下來要講的一個應用是運行數字孿生系統。這個運行數字孿生系統是我們跟福清核電一起研發的一個大型系統,在這個系統里面,我們主要是通過 DHP 提供的 PI 系統數據采集工具,采集了福清核電 PI 系統中部分機組所有測點的歷史數據和實時數據,供數字孿生應用開發,并存儲至 IoTDB。我們基于 IoTDB 的原生 API 開發了一系列通用的時序數據接口,獲取歷史數據,應用方基于這些歷史數據進行樣本制作。此外,我們還為應用方提供了數據寫入服務、存儲計算數據等等。
最后一個支撐的應用是三門核電的化學數據管理系統。這個系統需要 IoTDB 支持的原因就是,第一他們需要使用電廠已有 PI 系統中的數據,但是他們的開發人員不熟悉 PI 系統,無法獲取 PI 系統的數據。第二,他們需要獲取測點的歷史值、快照值以及插值,但沒有類似接口設計和開發經驗,接口開發難度非常大。我們提供的支持,就是我們打通了這個化學數據管理系統與我們 DHP 平臺之間的網絡端口,開通了我們通用的數據服務給應用。他們基于 IoTDB 提供的這些數據接口,可以獲取歷史值、快照值以及插值,進行業務計算和分析。這一套系統目前我們的支持已經有大概 8 個月,目前包括數據接入、存儲、訪問方面,支撐都比較良好,得到了三門核電的認可。
03 未來應用展望
最后對 IoTDB 在中國核電未來的應用進行一個展望。
IoTDB 作為時序數據的存儲基礎底座,我們希望它能夠助力中國核電的數字化轉型。作為國產時序數據庫的佼佼者,隨著核電數字化轉型的不斷深入,IoTDB 能夠在以下方面提供支持:第一個是與中國核電的數字化基礎平臺和應用進一步融合,比如 DHP 平臺、ASP-1、ASP-2、運行數字孿生等等,為這些統建應用提供強大的時序數據服務支撐能力。
第二,我們希望 IoTDB 能夠助力電廠本地數字化應用的時序數據相關模塊的開發、測試和運行,比方說能夠提供比較完善的開發、測試環境。
第三,我們希望 IoTDB 能夠支撐核電國產化時序數據處理系統的研發,持續打造穩定、高效、安全的時序數據庫內核,助力核電廠國產化時序數據服務系統的研發和推廣應用。
我們中核武漢/核動力運行研究所將繼續與清華大學、天謀科技 IoTDB 團隊保持密切合作,為核電提供優異、安全、穩定的時序數據相關產品,加快核電數字化轉型的步伐。
最后,我在此也一并感謝 IoTDB 團隊這 3 年多以來對我們的支持,希望 IoTDB 的明天更加美好,謝謝大家!
更多內容推薦:
? 了解更多 IoTDB 應用案例
? 回顧 IoTDB 2023 大會全內容