Granite Timeseries Patchtst

🚀 PatchTSTモデル（ETTh1データセットで事前学習済み）

PatchTST は、時系列モデリングタスク（予測、回帰、分類など）に使用されるトランスフォーマーベースのモデルです。このリポジトリには、ETTh1 データセットのすべての7つのチャンネルを含む事前学習済みの PatchTST モデルが含まれています。 この特定の事前学習済みモデルは、512時間の履歴データウィンドウを使用して96時間先を予測する場合、ETTh1 データセットの test 分割で0.3881の平均二乗誤差（MSE）を達成します。

PatchTST モデルのトレーニングと評価については、このデモノートブックを参照してください。

✨ 主な機能

📚 モデルの詳細

モデルの説明

PatchTST モデルは、Yuqi Nie、Nam H. Nguyen、Phanwadee Sinthong、Jayant Kalagnanamによる論文 A Time Series is Worth 64 Words: Long-term Forecasting with Transformers で提案されました。

大まかに言うと、このモデルは時系列を指定されたサイズのパッチにベクトル化し、得られたベクトル列をトランスフォーマーでエンコードし、適切なヘッドを介して予測期間の予測を出力します。

このモデルは2つの主要な要素に基づいています。(i) 時系列をサブシリーズレベルのパッチに分割し、これをトランスフォーマーの入力トークンとして使用すること。(ii) チャンネル独立性で、各チャンネルには単変量時系列が含まれ、すべての系列で同じ埋め込みとトランスフォーマーの重みを共有します。パッチング設計には自然に3つの利点があります。埋め込みに局所的な意味情報が保持されること、同じ過去のウィンドウであれば、注意マップの計算とメモリ使用量が2次的に削減されること、モデルがより長い履歴に注目できることです。チャンネル独立型パッチ時系列トランスフォーマー（PatchTST）は、SOTAのトランスフォーマーベースのモデルと比較して、長期予測精度を大幅に向上させることができます。

さらに、PatchTSTはマスクされた時系列の事前学習や、直接的な時系列予測、分類、回帰をシームレスにサポートするモジュール設計を持っています。

モデルのソース

• リポジトリ: PatchTST Hugging Face
• 論文: PatchTST ICLR 2023 paper
• デモ: Get started with PatchTST

📋 使用方法

この事前学習済みモデルは、ETTh1 データセットと同じチャンネルを持つ任意の電力変圧器データセットを使用して微調整または評価に利用できます。具体的には、HUFL, HULL, MUFL, MULL, LUFL, LULL, OT です。このモデルは、過去512時間の入力値に基づいて次の96時間を予測するように設計されています。データを正規化することが重要です。データの前処理について詳しくは、論文またはデモを参照してください。

💻 使用例

基本的な使用法

以下のコードを使用して、モデルを使用を開始できます。 デモ

🔧 技術詳細

トレーニングデータ

ETTh1/train split。 トレーニング/検証/テストの分割は、デモ に示されています。

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam (betas=(0.9,0.999), epsilon=1e-08)
• lr_scheduler_type: linear
• num_epochs: 10

トレーニング結果

📈 評価

テストデータ

ETTh1/test split。 トレーニング/検証/テストの分割は、デモ に示されています。

評価指標

平均二乗誤差（MSE）を使用して評価しています。

評価結果

評価データセットでは、0.3881のMSEを達成しています。

ハードウェア

1台のNVIDIA A100 GPUを使用しています。

フレームワークのバージョン

• Transformers 4.36.0.dev0
• Pytorch 2.0.1
• Datasets 2.14.4
• Tokenizers 0.14.1

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

📖 引用

BibTeX:

@misc{nie2023time,
      title={A Time Series is Worth 64 Words: Long-term Forecasting with Transformers}, 
      author={Yuqi Nie and Nam H. Nguyen and Phanwadee Sinthong and Jayant Kalagnanam},
      year={2023},
      eprint={2211.14730},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

APA:

Nie, Y., Nguyen, N., Sinthong, P., & Kalagnanam, J. (2023). A Time Series is Worth 64 Words: Long-term Forecasting with Transformers. arXiv preprint arXiv:2211.14730.