首頁
>
資源
>
用戶案例

清安儲能*IoTDB | 多個核心查詢場景實現(xiàn)毫秒級結(jié)果返回,平均壓縮比達到 90+ 倍

1. 清安儲能業(yè)務(wù)場景

清安儲能技術(shù)(重慶)有限公司(以下簡稱清安儲能)總部位于西部(重慶)科學城,是專業(yè)從事能源存儲與智慧管理的新能源科技型企業(yè),也是重慶首家聚焦儲能系統(tǒng)安全集成的領(lǐng)軍企業(yè)。清安儲能由首席科學家歐陽明高院士團隊孵化,具有國際一流的研發(fā)隊伍,現(xiàn)已實現(xiàn)儲能系統(tǒng)關(guān)鍵核心部件及集成系統(tǒng)的自研和制造,并面向“源-網(wǎng)-荷”全場景需求,深耕電池系統(tǒng)安全、電力電子、分布式發(fā)電及能源管理等領(lǐng)域,致力于為大電網(wǎng)、新能源電廠、工商企業(yè)、工業(yè)園區(qū)以及家庭用戶等提供儲能系統(tǒng)解決方案與綜合能源技術(shù)服務(wù)。

為幫助用戶實現(xiàn)對儲能系統(tǒng)及能源系統(tǒng)的全面監(jiān)控、調(diào)度與管理,清安儲能核心研發(fā)團隊構(gòu)建了 PC 端和 APP 端的儲能云平臺。儲能云平臺運用數(shù)字孿生技術(shù),將儲能場景狀態(tài)保真還原,達到能源管理定制化,并從能源管理維度對儲能設(shè)備、光伏設(shè)備等進行遠程監(jiān)控告警和精準運維,為用戶提供一系列可定制的云平臺解決方案。而儲能云平臺主要管理各類能源設(shè)備上報的時序數(shù)據(jù),為實現(xiàn)儲能云平臺的性能高穩(wěn)定性與處理高實時性,清安儲能需要尋求對于能源領(lǐng)域時序數(shù)據(jù)更優(yōu)的寫入、存儲、查詢、分析方案。

基于 IoTDB 時序數(shù)據(jù)庫自身的先進特性,清安儲能選擇使用 IoTDB 作為儲能云平臺時序數(shù)據(jù)接入、存儲、查詢的核心組件,有效支持多個核心查詢場景的低延遲查詢返回,并實現(xiàn)高速寫入性能與超高壓縮比,能夠滿足不斷增長的海量時序數(shù)據(jù)管理業(yè)務(wù)需求。

2. 業(yè)務(wù)需求痛點

2.1 單設(shè)備最高數(shù)十萬測點

清安儲能目前需要管理儲能設(shè)備共計 50 余臺,記錄溫度、電壓、電流等電池數(shù)據(jù),并預(yù)計在一年中實現(xiàn)設(shè)備量翻倍。因儲能設(shè)備運行狀態(tài)需進行全方位監(jiān)測,單設(shè)備數(shù)據(jù)量很大,最高測點數(shù)可達到幾十萬,以 5 秒為頻次進行實時上報。隨著未來可預(yù)見的數(shù)據(jù)量增長,清安儲能對于時序數(shù)據(jù)庫的實時數(shù)據(jù)寫入及海量數(shù)據(jù)壓縮能力均要求較高。

2.2 自動掛載困難

清安儲能的數(shù)據(jù)上報鏈路為主設(shè)備及多個子設(shè)備集成為大字段,進而進行傳輸上報。設(shè)備測點多且各個設(shè)備點位、字段存在差異,因此很難將上報數(shù)據(jù)抽取為固定模型。這就對于選型時序數(shù)據(jù)庫的掛載功能提出了挑戰(zhàn),需要具備安全隔離,并唯一定位存儲設(shè)備、測點等層級的架構(gòu),采取固定模型之外的其他方式,高效標記存儲設(shè)備和文件系統(tǒng)的位置。

2.3 復(fù)雜字段實時查詢

清安儲能能源設(shè)備目前上報的字段數(shù)眾多,經(jīng)常需要在查詢中涉及多個字段或多層路徑,并實現(xiàn)儲能云平臺各類監(jiān)控場景的實時數(shù)據(jù)反饋,因此對時序數(shù)據(jù)庫的查詢實時返回性能有較高的要求。同時,對于包含多個關(guān)鍵詞的復(fù)雜查詢,清安儲能還希望時序數(shù)據(jù)庫實現(xiàn)針對此類查詢的語句優(yōu)化,以節(jié)省查詢語句編寫所需時間。

3. 選型 IoTDB 原因

3.1 樹狀架構(gòu)方便自動掛載

IoTDB 的底層時序數(shù)據(jù)結(jié)構(gòu)采用物聯(lián)網(wǎng)專屬的樹形結(jié)構(gòu)管理,并支持設(shè)備模板化管理、序列標簽、元數(shù)據(jù)自動識別與生成等便捷的數(shù)據(jù)與模型管理功能。針對清安儲能不同設(shè)備點位、字段的差異現(xiàn)狀,IoTDB 的樹形結(jié)構(gòu)并不需要將數(shù)據(jù)抽取為固定模型,即可將數(shù)據(jù)以工廠、設(shè)備等設(shè)備進行分類,方便進行自動掛載的同時也可唯一確定 IoTDB 中存儲的時序數(shù)據(jù),方便精細查詢。

3.2 千萬點每秒寫入,10 倍無損壓縮比

IoTDB 能夠?qū)崿F(xiàn)每秒千萬數(shù)據(jù)點寫入、處理多設(shè)備億級點位的能力,且寫入速率不隨數(shù)據(jù)量增長而下降,能夠滿足清安儲能單設(shè)備數(shù)據(jù)量大、業(yè)務(wù)數(shù)據(jù)體量持續(xù)增長的數(shù)據(jù)接入需求。同時,IoTDB 獨創(chuàng)針對時間序列優(yōu)化的列式文件存儲格式 TsFile,支持多種高效編碼、壓縮方法,可以達到 10X 倍無損壓縮比,有效降低時序數(shù)據(jù)存儲成本。

3.3 豐富的低延遲查詢功能

IoTDB 通過預(yù)聚合和時序索引支持快速數(shù)據(jù)過濾、最新值查詢、聚合查詢、降采樣查詢等典型時序數(shù)據(jù)查詢種類,使篩選后的數(shù)據(jù)以更小的數(shù)據(jù)量,達到更快的查詢速度,且不影響查詢者的輸出需求,達到 TB 數(shù)據(jù)毫秒級響應(yīng)。并且,IoTDB 可用 * 號做為通配符,針對設(shè)備字段多的復(fù)雜時序數(shù)據(jù)查詢場景,能夠在日常業(yè)務(wù)場景中進行更方便地查詢。

3.4 積極更新版本,運維無憂

清安儲能在選型調(diào)研時了解到,IoTDB 研發(fā)團隊由多位數(shù)據(jù)庫核心技術(shù)科學家和工業(yè)資深專家組成,并在開源社區(qū)持續(xù)更新版本功能,相關(guān)技術(shù)文檔較為清晰,清安儲能認為 IoTDB 團隊可以保障數(shù)據(jù)庫產(chǎn)品落地的運維、管理工作的高效可靠。

4. 解決方案架構(gòu)

清安儲能構(gòu)建的儲能云平臺目前全部部署于云上環(huán)境,將儲能設(shè)備、TCP/UDP 設(shè)備及三方平臺上報的主設(shè)備及多個子設(shè)備集成的大字段數(shù)據(jù),通過 MQTT 等協(xié)議壓縮上云后,在設(shè)備接入層進行解壓,并將不同協(xié)議數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式。轉(zhuǎn)換完成后,按照單個線程一次性寫入 20 萬+測點為單位,進行批處理打包,傳輸至云上部署的 IoTDB 進行數(shù)據(jù)存儲。同時,儲能云平臺基于 IoTDB 與其他組件,也支持數(shù)據(jù)清洗、數(shù)據(jù)緩存、數(shù)據(jù)訂閱、任務(wù)調(diào)度等數(shù)據(jù)處理功能,并可支持異步隊列應(yīng)對耗時較長的任務(wù)。

業(yè)務(wù)層,清安儲能針對儲能云平臺構(gòu)建了專屬監(jiān)控平臺,以將不同廠區(qū)設(shè)備運行情況(告警、異常等)進行實時反饋,并依托云端進行處理。運用 IoTDB 的豐富查詢功能,可以達到應(yīng)用服務(wù)實時最新值查詢、時間聚合統(tǒng)計查詢、關(guān)鍵部件運行狀態(tài)查詢等場景的毫秒級響應(yīng),也可以靈活定義按分鐘/秒/小時等不同區(qū)間進行時序數(shù)據(jù)聚合,并支持接入 Java、Python 等多語言客戶端進行算法分析。IoTDB 的查詢性能可使監(jiān)控平臺達到實時數(shù)據(jù)可視化查詢,并進一步支撐用戶依據(jù)數(shù)據(jù)結(jié)果進行價值效益計算、控制下發(fā)等操作。

目前,清安儲能使用 IoTDB V0.13 單機版半年以上,運行效果穩(wěn)定,單機服務(wù)器配置為 8H64G,硬盤目前在 2T 以上。IoTDB 目前可以穩(wěn)定達到毫秒級數(shù)據(jù)寫入與業(yè)務(wù)常用查詢場景毫秒級相應(yīng),歷史數(shù)據(jù)目前一直進行存儲,平均壓縮比達到 90.375,后續(xù)數(shù)據(jù)量增長后將考慮數(shù)據(jù)遷移與分級存儲實現(xiàn)

5. 查詢應(yīng)用場景

5.1 IoTDB Client 客戶端查詢

場景一 監(jiān)控運行狀態(tài)查詢

清安儲能在 IoTDB 客戶端查詢各部件不同時間段的最新數(shù)據(jù),以此實現(xiàn)數(shù)據(jù)實時監(jiān)控,方便運維人員隨時掌控各關(guān)鍵部件實時運行狀態(tài)。

查詢語句及耗時見下:

場景二 數(shù)據(jù)統(tǒng)計趨勢查詢

清安儲能在 IoTDB 客戶端通過查詢進行數(shù)據(jù)統(tǒng)計,實現(xiàn)對儲能系統(tǒng)運行趨勢,關(guān)鍵部件傳感器數(shù)值變動趨勢的分析展示。例如,監(jiān)測電池 SOC 24小時/7天內(nèi)變化趨勢、充放電功率變化趨勢,用以掌握儲能每日充放電時間范圍,功率變動的情況。

查詢語句及耗時見下:

5.2 應(yīng)用服務(wù)端內(nèi)部查詢

同時,清安儲能也通過 IoTDB 在應(yīng)用服務(wù)端進行監(jiān)控運行狀態(tài)查詢與數(shù)據(jù)統(tǒng)計趨勢查詢。

查詢語句及耗時見下:

通過以上的查詢類型語句返回的結(jié)果耗時可以看出,IoTDB 在客戶端與服務(wù)端均可支持清安儲能最常用的查詢場景,并穩(wěn)定實現(xiàn)毫秒級返回數(shù)據(jù)

6. 未來展望

目前,IoTDB 已協(xié)助清安儲能在其研發(fā)的儲能云平臺構(gòu)建了穩(wěn)定、高效的時序數(shù)據(jù)管理方案。針對未來不斷增大的時序數(shù)據(jù)體量,清安儲能表示未來將考慮升級至 IoTDB 集群版本。IoTDB 團隊將和清安儲能繼續(xù)深度合作,協(xié)助打造專屬適配清安儲能運行狀態(tài)的 IoTDB 數(shù)據(jù)實時遷移方案,在不停止運行程序影響產(chǎn)能的情況下,完成單機版向企業(yè)版的數(shù)據(jù)高速導入與架構(gòu)無縫切換,以幫助清安儲能實現(xiàn)對更龐大時序數(shù)據(jù)量的靈活、便捷、高效能管理。

更多內(nèi)容推薦:

? 了解更多 IoTDB 應(yīng)用案例