Granite Timeseries Patchtsmixer

🚀 ETTh1データセットで事前学習されたPatchTSMixerモデル

PatchTSMixer は、ベンチマークデータセットで最先端の性能を発揮する、軽量かつ高速な多変量時系列予測モデルです。 ここでは、ETTh1 データセットの全7チャンネルを含む事前学習済みの PatchTSMixer モデルを提供しています。 この事前学習済みモデルは、512時間の履歴データウィンドウを使用して96時間先を予測する場合、ETTh1 データセットの test 分割で0.37の平均二乗誤差（MSE）を達成します。

PatchTSMixer モデルのトレーニングと評価については、このノートブック を参照してください。

📚 ドキュメント

モデルの概要

PatchTSMixerモデルは、Vijay Ekambaram、Arindam Jati、Nam Nguyen、Phanwadee Sinthong、Jayant Kalagnanamによる TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting で提案されました。

PatchTSMixerは、MLP-Mixerアーキテクチャに基づく軽量な時系列モデリング手法です。このHuggingFace実装 では、PatchTSMixerがパッチ、チャンネル、および隠れ特徴量間で軽量な混合を行い、効果的な多変量時系列モデリングを容易にする機能を提供しています。また、単純なゲート付きアテンションからより複雑な自己アテンションブロックまで、様々なアテンション機構をサポートしており、それらを適宜カスタマイズすることができます。このモデルは事前学習が可能で、予測、分類、回帰などの様々な下流タスクに使用することができます。

モデルの説明

TSMixerは、パッチ化された時系列データの多変量予測と表現学習のために設計された、多層パーセプトロン（MLP）モジュールのみで構成された軽量なニューラルアーキテクチャです。当社のモデルは、コンピュータビジョンにおけるMLP-Mixerモデルの成功にインスピレーションを得ています。我々は、Vision MLP-Mixerを時系列データに適用する際の課題を明らかにし、精度を向上させるための実証的に検証されたコンポーネントを導入しています。これには、階層性やチャンネル相関などの時系列特性を明示的にモデル化するために、MLP-Mixerバックボーンにオンライン調整ヘッドを取り付けるという新しい設計パラダイムが含まれます。また、既存のパッチチャンネル混合手法で一般的な課題である、ノイズの多いチャンネル間の相互作用と多様なデータセットにわたる汎化能力を効果的に扱うためのハイブリッドチャンネルモデリングアプローチを提案しています。さらに、重要な特徴量を優先するために、バックボーンに単純なゲート付きアテンション機構を導入しています。これらの軽量なコンポーネントを組み込むことで、単純なMLP構造の学習能力を大幅に向上させ、複雑なTransformerモデルを最小限の計算量で上回っています。さらに、TSMixerのモジュール化された設計により、教師あり学習とマスク付き自己教師あり学習の両方の方法と互換性があり、時系列基礎モデルの有望な構成要素となっています。TSMixerは、予測において最先端のMLPおよびTransformerモデルを8～60％の大幅な差で上回っています。また、Patch-Transformerモデルの最新の強力なベンチマークを1～2％上回り、メモリと実行時間を2～3倍削減しています。

モデルの情報源

• リポジトリ: PatchTSMixer Hugging Face
• 論文: PatchTSMixer KDD 2023 paper
• デモ: Get started with PatchTSMixer

📦 インストール

この事前学習済みモデルは、ETTh1 データセットと同じチャンネルを持つ任意の電力変圧器データセットを使用して微調整または評価に利用できます。具体的には、HUFL, HULL, MUFL, MULL, LUFL, LULL, OT です。このモデルは、前の512時間の入力値に基づいて次の96時間を予測するように設計されています。データの正規化が重要です。データ前処理の詳細については、論文またはデモを参照してください。

💻 使用例

基本的な使用法

モデルを使い始めるには、以下のコードを使用します。 デモ

🔧 技術詳細

トレーニングデータ

ETTh1/train split を使用しています。 トレーニング/検証/テストの分割は、デモ で確認できます。

トレーニングハイパーパラメータ

詳細は PatchTSMixer paper を参照してください。

評価

テストデータ、要因、メトリクス

• テストデータ: ETTh1/test split を使用します。トレーニング/検証/テストの分割は デモ で確認できます。
• メトリクス: 平均二乗誤差（MSE）を使用して評価しています。

結果

ハードウェア

1台のNVIDIA A100 GPUを使用しています。

ソフトウェア

PyTorchを使用しています。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

引用

BibTeX:

@article{ekambaram2023tsmixer,
  title={TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting},
  author={Ekambaram, Vijay and Jati, Arindam and Nguyen, Nam and Sinthong, Phanwadee and Kalagnanam, Jayant},
  journal={arXiv preprint arXiv:2306.09364},
  year={2023}
}

APA:

Ekambaram, V., Jati, A., Nguyen, N., Sinthong, P., & Kalagnanam, J. (2023). TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting. arXiv preprint arXiv:2306.09364.