首頁
>
資源
>
技術解析
/
產品發布

從 Timer 到 Timer-XL,再登時序大模型能力高峰

時序數據庫在支持時序特性寫入、存儲、查詢等功能后,正朝著深度分析方向發展。自動化異常監測與智能化趨勢預測,成為時序數據管理的核心需求。

時序數據庫 IoTDB 團隊不斷探索,自研推出了面向時間序列的大模型 Timer 和擴展版 Timer-XL,性能取得多項突破并在國際機器學習頂級會議發表成果,為時序分析預測提供了更高效的解決方案。

01 Timer 模型

深度時序分析通用基礎模型 Timer 和時序數據庫 IoTDB 一樣,發源于清華大學軟件學院,具備可觀的分析能力和對真實世界數據的理解能力。通過顯著的少樣本能力和多任務適配能力,Timer 模型能夠處理多樣化的下游任務,為多類實際應用場景提供通用解決方案。

Timer 模型擁有以下特點:

  • 泛化性:模型能夠通過使用少量樣本進行微調,達到行業內領先的深度模型預測效果。

  • 通用性:模型設計靈活,能夠適配多種不同的任務需求,并且支持變化的輸入和輸出長度,使其在各種應用場景中都能發揮作用。

  • 可擴展性:隨著模型參數數量的增加或預訓練數據規模的擴大,模型的性能會持續提升,確保模型能夠隨著時間和數據量的增長而不斷優化其預測效果。

Timer-XL文章圖1-20250326.png

02 Timer-XL 模型

作為 Timer 模型的擴展版本,Timer-XL 模型在繼承其優秀特性的基礎上,實現了三大核心突破:

  • 擴展上下文輸入:該模型突破了傳統時序預測模型的限制,支持處理數千個 Token(相當于數萬個時間點)的輸入,有效解決了上下文長度的瓶頸問題。

  • 多變量預測場景覆蓋:支持多種預測場景,包括非平穩時間序列的預測、涉及多個變量的預測任務以及包含協變量的預測,滿足多樣化的業務需求。

  • 大規模工業時序數據集訓練:采用萬億大規模工業物聯網領域的時序數據集進行預訓練,數據集兼有龐大的體量、卓越的質量和豐富的領域等重要特質,覆蓋能源、航空航天、鋼鐵、交通等多領域。

Timer-XL文章圖2-20250326.png

03 模型使用場景

目前,Timer 模型已經內置在時序數據庫 IoTDB 的智能分析節點 AINode 中,用戶能夠非常方便地進行調用。得益于 Timer 模型的優異性能,時序數據庫 IoTDB 可以有效地為異常檢測、數據填補、時序預測等工業場景提供解決方案。

(1) 異常檢測

利用時序大模型精準識別與正常趨勢偏離過大的異常值,可支持靜態閾值告警和動態閾值告警,實現告警自動化。

下圖藍色曲線代表預測告警數據,紅色曲線為實際數據趨勢,可見預測告警結果準確性較高。

Timer-XL文章圖3-20250326.png

(2) 數據填補

調用時序大模型進行預測,在缺失值可能發生之前,使用預測值對缺失數據進行補全,實現補全算法智能化,不局限于線性插值補全。

下圖藍色曲線代表預測填補數據,紅色曲線為實際數據趨勢,兩曲線反映趨勢高度吻合。

Timer-XL文章圖4-20250326.png

(3) 時序預測

利用時序大模型的預測能力,可原生支持多變量預測,能夠準確預測時間序列的未來變化趨勢,相比單變量預測實現更優的預測準確性。

下圖藍色曲線代表預測趨勢,紅色曲線為實際趨勢,兩曲線高度吻合。

Timer-XL文章圖5-20250326.png

04 模型效果驗證

多類大模型的預測結果對比中,Timer-XL 模型在零樣本預測、單變量預測、多變量預測、協變量預測場景,結果準確性都優于其他大模型,并具有更強的泛化性能,可以在訓練集之外的數據集保持高可靠性。

多變量預測方面,Timer-XL 模型預測效果達到了 SOTA 水平(State-of-the-Art,在該領域當前達到的最佳性能水平)。協變量預測方面,Timer-XL 的表現優于 SOTA 水平的專門化模型。

上述成果代表 Timer-XL 模型能夠熟練地在大量數據中自適應地選擇信息,從而實現卓越的預測性能,充分證明了 Timer-XL 模型在時序預測領域的領先地位與強大實力。

Timer-XL文章圖6-20250326.png

來源:ICLR 2025 論文《Timer-XL: Long-Context Transformers For Unified Time Series Forecasting》

未來,IoTDB 團隊將持續優化時序大模型架構及功能,拓展其在工業多領域、多場景應用,推動時序數據分析進入智能決策新階段。

更多內容推薦:

? 下載時序數據庫 IoTDB 開源版

? 了解如何使用 時序數據庫 IoTDB AI 能力