7 月 5 日，2025 時序數(shù)據(jù)庫技術(shù)創(chuàng)新大會在北京成功舉辦，清華大學(xué)軟件學(xué)院長聘副教授龍明盛在大會上做主題報(bào)告《Timer 3.0：新一代生成式時序大模型》，深入剖析當(dāng)前時間序列分析領(lǐng)域面臨的核心挑戰(zhàn)，系統(tǒng)闡述了時序大模型的技術(shù)演進(jìn)趨勢與行業(yè)痛點(diǎn)，并重點(diǎn)分享清華團(tuán)隊(duì)自主研發(fā)的時序大模型 Timer 從 1.0 至 3.0 版本的關(guān)鍵技術(shù)路線、創(chuàng)新突破點(diǎn)及在多項(xiàng)國際基準(zhǔn)測試中的卓越表現(xiàn)。目前，該大模型成果已能夠在 IoTDB 中實(shí)現(xiàn)調(diào)用。
以下為報(bào)告核心內(nèi)容總結(jié)。
01 時序分析三大挑戰(zhàn)
龍明盛教授首先系統(tǒng)地梳理了時序分析的技術(shù)挑戰(zhàn)。他指出，在工業(yè)時序數(shù)據(jù)分析領(lǐng)域，核心需求聚焦于通過對歷史數(shù)據(jù)的深度挖掘，構(gòu)建預(yù)測式分析模型，以實(shí)現(xiàn)對設(shè)備復(fù)雜工況的精準(zhǔn)預(yù)判，并最終支撐智能化運(yùn)維決策體系的建立。
龍明盛教授認(rèn)為，時間序列數(shù)據(jù)作為重要的工業(yè)資產(chǎn)，其分析面臨三大核心難題：第一，數(shù)據(jù)變化呈現(xiàn)非線性特征，傳統(tǒng)線性建模工具，如 ARIMA、Holt-Winters 存在理論局限，無法適配時序數(shù)據(jù)變化趨勢。
第二，時序數(shù)據(jù)變化往往呈現(xiàn)非平穩(wěn)性，傳統(tǒng)分析方法需依賴大量人工規(guī)則，一事一議地進(jìn)行擬合，大幅增加了建模復(fù)雜性，無法高效進(jìn)行擴(kuò)展。
第三，模型訓(xùn)練需要充足數(shù)據(jù)樣本，在歷史數(shù)據(jù)稀缺環(huán)境下，模型往往難以構(gòu)建，而當(dāng)數(shù)據(jù)規(guī)模擴(kuò)大時，現(xiàn)有模型又存在容量天花板，出現(xiàn)性能飽和現(xiàn)象，無法有效支撐大規(guī)模時序分析。
02 時序大模型發(fā)展與研究歷程
龍明盛教授系統(tǒng)回顧了清華團(tuán)隊(duì)在時序大模型領(lǐng)域的研究歷程與技術(shù)探索。團(tuán)隊(duì)在過去五年中構(gòu)建了完整的時序分析技術(shù)棧，從數(shù)據(jù)預(yù)處理發(fā)展至深度學(xué)習(xí)模型，最終形成涵蓋 FFT 頻域變換、數(shù)據(jù)分解、歸一化等分析算子的自研時序大模型成果。
龍明盛教授將時序分析技術(shù)演進(jìn)劃分為三個階段：傳統(tǒng)統(tǒng)計(jì)分析（1.0）、深度學(xué)習(xí)模型（2.0）和時序大模型（3.0）。團(tuán)隊(duì)的時序大模型技術(shù)研發(fā)秉持孫家廣院士“能用、管用、好用”的研發(fā)理念，始于服務(wù)北京冬奧會的實(shí)踐場景。
2023 年下半年，清華團(tuán)隊(duì)在 2023 IoTDB 用戶大會上發(fā)布了支持深度學(xué)習(xí)模型的 IoTDB 原生節(jié)點(diǎn) AINode，同時啟動了從深度學(xué)習(xí)模型到大模型的升級轉(zhuǎn)型，希望進(jìn)一步滿足用戶對開箱即用、一鍵微調(diào)分析模型的迫切需求。
盡管時序大模型概念興起不足兩年，但發(fā)展極為迅速，呈現(xiàn)出激烈競爭態(tài)勢。龍明盛教授認(rèn)為，時序大模型的核心價(jià)值在于實(shí)現(xiàn)“一對多”的泛化能力——通過海量數(shù)據(jù)訓(xùn)練獲得通用時序理解能力，并能夠靈活適配各類下游任務(wù)。這種“一庫一模型”的架構(gòu)理念，將徹底突破傳統(tǒng)“單模型對應(yīng)單任務(wù)”的局限，使時序大模型真正具備與數(shù)據(jù)庫同等重要的基礎(chǔ)設(shè)施地位，成為工業(yè)智能化轉(zhuǎn)型的核心支撐。
同時，龍明盛教授深入剖析了時序大模型領(lǐng)域的技術(shù)發(fā)展現(xiàn)狀。作為國際上最早開展時序大模型研究的團(tuán)隊(duì)之一，龍明盛教授指出，行業(yè)初期普遍存在簡單移植語言模型架構(gòu)的現(xiàn)象，而這種做法其實(shí)無法解決時序數(shù)據(jù)分析復(fù)雜性所帶來的一系列根本問題。
主流科技企業(yè)在時序大模型方向的技術(shù)方案集中在解決時序數(shù)據(jù)分析中的特定技術(shù)難題：Google 采用分窗注意力建模，延續(xù)了語言模型的傳統(tǒng)方法；Salesforce 的 MOIRAI 模型通過展平處理多變量數(shù)據(jù)，一定程度解決了時間序列多變量分析問題，但成效有限；亞馬遜的 Chronos 模型直接將時間點(diǎn)類比為自然語言詞匯，導(dǎo)致預(yù)測長度受限和資源消耗過大等問題。
龍明盛教授特別強(qiáng)調(diào)，時序數(shù)據(jù)與自然語言存在本質(zhì)差異，如何在大模型中定義窗口和 Token 尚未得到徹底解決。即便引入混合專家模型，仍面臨諸多技術(shù)瓶頸。
03 自研時序大模型 Timer 的探索之路
（1）Timer 1.0：實(shí)現(xiàn)少樣本預(yù)測、多任務(wù)適配雙能力
龍明盛教授指出，與自然語言數(shù)據(jù)相比，時序數(shù)據(jù)具有兩個本質(zhì)差異：其一，時序數(shù)據(jù)本質(zhì)上是多變量序列而非單序列；其二，時序數(shù)據(jù)展現(xiàn)出更強(qiáng)的多樣性，包括形態(tài)變化、采樣頻率差異和值域分布波動等 OOD（Out-of-Distribution）特性。這些特性導(dǎo)致直接應(yīng)用 Transformer 等架構(gòu)面臨根本性困難。
針對這些問題，團(tuán)隊(duì)在自研時序大模型 Timer 1.0 中重點(diǎn)實(shí)施了兩項(xiàng)關(guān)鍵創(chuàng)新：首先通過值域規(guī)范化與統(tǒng)計(jì)檢驗(yàn)（如非平穩(wěn)性檢驗(yàn)、周期性檢測）等方法對數(shù)據(jù)進(jìn)行治理，構(gòu)建適合大模型訓(xùn)練的數(shù)據(jù)集。龍明盛教授強(qiáng)調(diào)，如果將未經(jīng)治理的原始工業(yè)數(shù)據(jù)直接用于訓(xùn)練，任何異常值和缺失值都可能突破模型數(shù)值精度上限，因此異構(gòu)數(shù)據(jù)規(guī)范化對于保障大模型性能非常重要。
其次，團(tuán)隊(duì)創(chuàng)新性地采用純解碼器（Decoder-only）架構(gòu)而非業(yè)界常見的純編碼器（Encoder-only）架構(gòu)。許多研究團(tuán)隊(duì)傾向于選擇純編碼器方案，主要是因?yàn)槠浼軜?gòu)網(wǎng)絡(luò)更容易訓(xùn)練，對數(shù)據(jù)出現(xiàn)問題的容忍度也更強(qiáng)。然而，這種架構(gòu)在可擴(kuò)展性方面存在明顯局限。
通過數(shù)據(jù)治理獲得高質(zhì)量數(shù)據(jù)訓(xùn)練集后，團(tuán)隊(duì)驗(yàn)證了解碼器架構(gòu)的獨(dú)特優(yōu)勢，其能夠支持多任務(wù)適配能力，可以同時處理預(yù)測、填補(bǔ)和異常檢測等多樣化時序分析任務(wù)。
通過上述兩項(xiàng)技術(shù)創(chuàng)新，Timer 1.0 展現(xiàn)出優(yōu)異的少樣本泛化能力，只需要少量數(shù)據(jù)進(jìn)行微調(diào)，就能達(dá)到較好的預(yù)測效果。更重要的是，該模型在時序領(lǐng)域驗(yàn)證了擴(kuò)增定律，即隨著參數(shù)規(guī)模和時間長度的增加，模型性能將持續(xù)獲得提升。
（2）Timer 2.0：盤活歷史數(shù)據(jù)，適配長上下文預(yù)測場景
在 Timer 2.0 的迭代階段，研究團(tuán)隊(duì)發(fā)現(xiàn)，時間序列領(lǐng)域多變量均可能對目標(biāo)變量效果產(chǎn)生較大影響，因此時序建模的關(guān)鍵在于正確構(gòu)建單變量上下文關(guān)系及多變量間的影響關(guān)系。
而傳統(tǒng)將多變量展平為單一序列的方法存在兩個根本缺陷：一是導(dǎo)致序列過長難以訓(xùn)練，二是破壞了原始數(shù)據(jù)的時間順序特性。
由此，團(tuán)隊(duì)針對 Timer 技術(shù)路線進(jìn)行升級，將時序數(shù)據(jù)定義為涵蓋時間、變量的二維數(shù)據(jù)，并基于這一認(rèn)識創(chuàng)新性地提出了大模型二維注意力機(jī)制架構(gòu)，在時間維度的注意力建模聚焦歷史和未來的關(guān)系，而在變量維度的注意力建模聚焦不同變量之間的相關(guān)性。
相比經(jīng)典 VAR 模型，這種二維建模方式突破了固定參數(shù)相關(guān)性的限制，實(shí)現(xiàn)了有注意力機(jī)制的自適應(yīng)相關(guān)性建模。
通過實(shí)驗(yàn)數(shù)據(jù)對比（如左上角圖）顯示，傳統(tǒng)建模方法中，當(dāng)引入長期歷史數(shù)據(jù)時，因?yàn)閿?shù)據(jù)中的無關(guān)信息干擾，模型預(yù)測很可能效果不佳。然而，團(tuán)隊(duì)創(chuàng)新的自適應(yīng)二維注意力機(jī)制成功解決了這一難題，實(shí)現(xiàn)了“歷史信息越長，預(yù)測效果越好”的突破，大模型訓(xùn)練不用局限于近期數(shù)據(jù)，長期積累的歷史數(shù)據(jù)價(jià)值得以充分釋放。
Timer 2.0 的創(chuàng)新設(shè)計(jì)使其在國際權(quán)威評測中取得了領(lǐng)先成績，驗(yàn)證了其二維注意力機(jī)制在時序建模中的優(yōu)越性。
（3）Timer 3.0：生成式預(yù)測“深度思考”，萬億級數(shù)據(jù)規(guī)模訓(xùn)練
龍明盛教授重點(diǎn)介紹了 Timer 3.0 的創(chuàng)新設(shè)計(jì)與技術(shù)突破。該版本主要針對時序預(yù)測中的不確定性這一核心問題，突破了傳統(tǒng)確定性模型的局限。龍明盛教授指出，時序數(shù)據(jù)本質(zhì)上具有混沌特性，微小輸入差異可能導(dǎo)致顯著不同的輸出結(jié)果。為此，Timer 3.0 創(chuàng)新性地采用了生成式建模方法，能夠?yàn)橥惠斎肷啥鄠€可能的未來序列。
在 Timer 3.0 的研發(fā)過程中，團(tuán)隊(duì)對于過去的技術(shù)路線進(jìn)行了系統(tǒng)反思，選擇繼承 Timer 1.0 和 2.0 已構(gòu)建的連續(xù)性建模技術(shù)方案，繼續(xù)使用注意力機(jī)制及解碼器架構(gòu)，避免時間序列離散化建模所可能導(dǎo)致的精度損失與泛化能力問題。
在新版本的技術(shù)方向上，團(tuán)隊(duì)回歸時序分析的本質(zhì)規(guī)律，運(yùn)用了 ARIMA 第一性原理，即預(yù)測時間序列結(jié)果應(yīng)受到過去時間點(diǎn)數(shù)據(jù)的影響，并應(yīng)根據(jù)一系列多階噪聲對預(yù)測結(jié)果進(jìn)行修正，從而得到最終的準(zhǔn)確預(yù)測結(jié)果。
研究團(tuán)隊(duì)突破性地將這一經(jīng)典原理深度學(xué)習(xí)化，采用解碼器架構(gòu) Transformer 進(jìn)行自回歸建模，并引入生成式 Flow Model 處理噪聲對預(yù)測結(jié)果的非線性影響，得到最終的 Timer 3.0 時序大模型架構(gòu)。
Timer 3.0 的架構(gòu)設(shè)計(jì)賦予其三大核心能力：首先，其生成式預(yù)測功能可針對單一輸入生成多組可能結(jié)果，有效應(yīng)對工業(yè)場景中的不確定性；其次，作為時序原生 Transformer 架構(gòu)，它摒棄了傳統(tǒng)離散化處理方法，從根本上避免了精度損失；第三，該模型開創(chuàng)性地實(shí)現(xiàn)了萬億級工業(yè)時序數(shù)據(jù)的訓(xùn)練突破，樹立了行業(yè)新標(biāo)桿。
龍明盛教授特別強(qiáng)調(diào)，構(gòu)建 Timer 3.0 的萬億級訓(xùn)練數(shù)據(jù)集歷時一年半，這一過程深刻印證了數(shù)據(jù)資產(chǎn)的戰(zhàn)略價(jià)值。未來，當(dāng) Timer 3.0 部署至實(shí)際工業(yè)產(chǎn)線時，通過與產(chǎn)線實(shí)時數(shù)據(jù)的持續(xù)交互學(xué)習(xí)，模型將實(shí)現(xiàn)動態(tài)進(jìn)化——不僅能突破現(xiàn)有性能上限，更能深度適配特定產(chǎn)線的工藝特性和管理需求，最終形成"越用越精準(zhǔn)"的良性循環(huán)。
通過實(shí)驗(yàn)驗(yàn)證，Timer 3.0 大模型能夠產(chǎn)生高質(zhì)量的多樣化預(yù)測結(jié)果。針對“大模型生成多結(jié)果，該如何選擇”這一實(shí)際問題，龍明盛教授指出，借鑒大語言模型的成功經(jīng)驗(yàn)，時序大模型只要擁有生成能力，首先生成多種可能結(jié)果，只需進(jìn)行輕量級的人類對齊，即可篩選出最優(yōu)方案。
龍明盛教授強(qiáng)調(diào)，傳統(tǒng)確定性模型一旦預(yù)測錯誤就束手無策，而生成式模型的優(yōu)勢在于能夠提供多種可能解，為后續(xù)的推理增強(qiáng)創(chuàng)造條件。這種技術(shù)路線真正實(shí)現(xiàn)了將大語言模型的智能內(nèi)核融入時序分析領(lǐng)域。簡單移植語言模型架構(gòu)與數(shù)據(jù)集治理技術(shù)到時序領(lǐng)域并不可行，引入其推理能力才是正確的發(fā)展方向。
Timer 3.0 在 Time-Series-Library、GIFT-Eval、AutoGluon FEV LeaderBoard 等國際權(quán)威預(yù)測基準(zhǔn)中均表現(xiàn)優(yōu)異，其推理速度更是達(dá)到了同類模型 Chronos 的 20 倍，能夠?yàn)楣I(yè)場景中的時序預(yù)測需求提供強(qiáng)有力的技術(shù)支撐。
Timer 3.0 的“Model Name Card”名片可見，該模型已實(shí)現(xiàn)全方位能力覆蓋，包括連續(xù)預(yù)測、多窗口預(yù)測、大規(guī)模參數(shù)支持以及不確定性建模等，成為一個功能完備的“滿血版”時序大模型。
在推薦配置方案方面，龍明盛教授提供了靈活的配置建議：全模型訓(xùn)練推薦使用 4 張 A100 顯卡，大模型微調(diào)僅需 1 張 RTX4090 顯卡（約 5000 元），而推理任務(wù)則支持 CPU 與 GPU 雙環(huán)境運(yùn)行，充分考慮了不同用戶的需求方向與硬件條件。
（4）未來展望：路雖遠(yuǎn)，行則將至
最后，龍明盛教授總結(jié)了時序大模型 Timer 從 1.0 到 3.0 的技術(shù)演進(jìn)歷程。他特別強(qiáng)調(diào)，雖然時序大模型的 4.0 時代尚未到來，但在 IoTDB 社區(qū)的共同推進(jìn)下，3.5 和 4.0 版本的突破指日可待。
龍明盛教授表示，團(tuán)隊(duì)將繼續(xù)努力踐行孫家廣院士“做‘能用，管用，好用’的軟件”的指導(dǎo)原則。他相信，通過 IoTDB 社區(qū)生態(tài)的協(xié)同創(chuàng)新，時序大模型技術(shù)必將取得更大突破，為工業(yè)數(shù)智化轉(zhuǎn)型提供更強(qiáng)大的技術(shù)支撐。
更多內(nèi)容推薦：
? 下載開源時序數(shù)據(jù)庫 IoTDB
? 咨詢企業(yè)版
? 回顧 IoTDB 2025 大會全內(nèi)容
