Granite Timeseries Patchtsmixer

🚀 PatchTSMixer模型（基於ETTh1數據集預訓練）

PatchTSMixer 是一種輕量級且快速的多變量時間序列預測模型，在基準數據集上具有領先的性能。本項目提供了一個基於 ETTh1 數據集所有七個通道預訓練的 PatchTSMixer 模型。該預訓練模型在 ETTh1 數據集的 test 分割上，以512小時的歷史數據窗口預測未來96小時時，均方誤差（MSE）為0.37。

🚀 快速開始

若要訓練和評估 PatchTSMixer 模型，可參考 此筆記本。

✨ 主要特性

• 輕量級架構：基於MLP - Mixer架構，計算資源消耗少。
• 高性能表現：在基準數據集上達到了先進水平，在預測性能上大幅超越了現有的MLP和Transformer模型。
• 靈活可定製：支持從簡單門控注意力到更復雜的自注意力機制等多種注意力機制。
• 多任務支持：可進行預訓練，並用於預測、分類和迴歸等各種下游任務。

📚 詳細文檔

模型詳情

PatchTSMixer 模型由Vijay Ekambaram、Arindam Jati、Nam Nguyen、Phanwadee Sinthong和Jayant Kalagnanam在 TSMixer: Lightweight MLP - Mixer Model for Multivariate Time Series Forecasting 中提出。

PatchTSMixer 是一種基於MLP - Mixer架構的輕量級時間序列建模方法。在 HuggingFace實現 中，它能夠輕鬆實現跨補丁、通道和隱藏特徵的輕量級混合，以進行有效的多變量時間序列建模。它還支持各種注意力機制，可根據需要進行定製。該模型可以進行預訓練，隨後用於預測、分類和迴歸等各種下游任務。

模型描述

TSMixer是一種僅由多層感知器（MLP）模塊組成的輕量級神經架構，專為多變量預測和補丁時間序列的表示學習而設計。該模型的靈感來源於MLP - Mixer模型在計算機視覺領域的成功。研究團隊展示了將視覺MLP - Mixer應用於時間序列的挑戰，並引入了經過實證驗證的組件來提高準確性。這包括一種將在線調和頭附加到MLP - Mixer骨幹的新穎設計範式，用於顯式建模時間序列的屬性，如層次結構和通道相關性。此外，還提出了一種混合通道建模方法，以有效處理噪聲通道交互和不同數據集之間的泛化問題，這是現有補丁通道混合方法中的常見挑戰。同時，在骨幹中引入了一種簡單的門控注意力機制，以優先考慮重要特徵。通過整合這些輕量級組件，顯著增強了簡單MLP結構的學習能力，在計算資源使用極少的情況下超越了複雜的Transformer模型。此外，TSMixer的模塊化設計使其與監督和掩碼自監督學習方法兼容，使其成為時間序列基礎模型的有前途的構建塊。TSMixer在預測方面比最先進的MLP和Transformer模型高出8 - 60%，並且在內存和運行時間上顯著減少（2 - 3倍）的情況下，比最新的Patch - Transformer模型基準高出1 - 2%。

模型來源

• 倉庫：PatchTSMixer Hugging Face
• 論文：PatchTSMixer KDD 2023 paper
• 演示：Get started with PatchTSMixer

🔧 技術細節

用途

此預訓練模型可用於微調或評估任何與 ETTh1 數據集具有相同通道（即 HUFL, HULL, MUFL, MULL, LUFL, LULL, OT）的電力變壓器數據集。該模型旨在根據前512小時的輸入值預測未來96小時的值。需要注意的是，數據必須進行歸一化處理。有關數據預處理的更多詳細信息，請參考論文或演示。

訓練詳情

訓練數據

ETTh1/train split。訓練/驗證/測試分割情況可在 演示 中查看。

訓練超參數

請參考 PatchTSMixer論文。

評估

測試數據、因素和指標

• 測試數據：ETTh1/test split。訓練/驗證/測試分割情況可在 演示 中查看。
• 指標：均方誤差（MSE）。

結果

硬件

1塊NVIDIA A100 GPU

軟件

PyTorch

📄 許可證

本項目採用Apache - 2.0許可證。

📖 引用

BibTeX：

@article{ekambaram2023tsmixer,
  title={TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting},
  author={Ekambaram, Vijay and Jati, Arindam and Nguyen, Nam and Sinthong, Phanwadee and Kalagnanam, Jayant},
  journal={arXiv preprint arXiv:2306.09364},
  year={2023}
}

APA：

Ekambaram, V., Jati, A., Nguyen, N., Sinthong, P., & Kalagnanam, J. (2023). TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting. arXiv preprint arXiv:2306.09364.