🚀 MOMENT-Large
MOMENTは、汎用的な時系列分析のための基礎モデル群です。このモデル群は、以下の特徴を持っています。
- 様々な時系列分析タスク(予測、分類、異常検出、欠損値補完など)の構成要素として機能します。
- そのまま有効です。つまり、タスク固有の事例がない(またはほとんどない)状態でも機能し、ゼロショット予測やフューショット分類などが可能です。
- 分布内のデータやタスク固有のデータを使って調整可能で、パフォーマンスを向上させることができます。
MOMENTモデル、学習データ、および実験結果の詳細については、論文 MOMENT: A Family of Open Time-series Foundation Models を参照してください。
MOMENT-1には、Small、Base、Large の3つのサイズがあります。
🚀 クイックスタート
推奨Pythonバージョン
Python 3.11(近日中に追加のバージョンのサポートが予定されています)。
パッケージのインストール
momentfm
パッケージは、pipを使ってインストールできます。
pip install momentfm
または、GitHubリポジトリから最新バージョンを直接インストールすることもできます。
pip install git+https://github.com/moment-timeseries-foundation-model/moment.git
事前学習済みモデルの読み込み
以下のコードスニペットを使って、タスク用の事前学習済みモデルを読み込むことができます。
予測
from momentfm import MOMENTPipeline
model = MOMENTPipeline.from_pretrained(
"AutonLab/MOMENT-1-large",
model_kwargs={
'task_name': 'forecasting',
'forecast_horizon': 96
},
)
model.init()
分類
from momentfm import MOMENTPipeline
model = MOMENTPipeline.from_pretrained(
"AutonLab/MOMENT-1-large",
model_kwargs={
'task_name': 'classification',
'n_channels': 1,
'num_class': 2
},
)
model.init()
異常検出、欠損値補完、事前学習
from momentfm import MOMENTPipeline
model = MOMENTPipeline.from_pretrained(
"AutonLab/MOMENT-1-large",
model_kwargs={"task_name": "reconstruction"},
)
mode.init()
表現学習
from momentfm import MOMENTPipeline
model = MOMENTPipeline.from_pretrained(
"AutonLab/MOMENT-1-large",
model_kwargs={'task_name': 'embedding'},
)
チュートリアル
MOMENTを様々なタスクで使い始めるためのチュートリアルと再現可能な実験のリストは以下の通りです。
✨ 主な機能
MOMENTは、汎用的な時系列分析のための基礎モデル群で、様々な時系列分析タスクに適用でき、そのまま有効で、調整可能です。
📦 インストール
momentfm
パッケージは、pipを使ってインストールできます。
pip install momentfm
または、GitHubリポジトリから最新バージョンを直接インストールすることもできます。
pip install git+https://github.com/moment-timeseries-foundation-model/moment.git
💻 使用例
基本的な使用法
事前学習済みモデルを読み込むための基本的なコード例は、上記の「予測」「分類」「異常検出、欠損値補完、事前学習」「表現学習」のコードスニペットを参照してください。
📚 ドキュメント
モデルの詳細
モデルの説明
モデルのソース
- リポジトリ:https://github.com/moment-timeseries-foundation-model/ (事前学習と研究コードは近日公開予定!)
- 論文:https://arxiv.org/abs/2402.03885
- デモ:https://github.com/moment-timeseries-foundation-model/moment/tree/main/tutorials
環境への影響
数日間にわたって複数のモデルを学習させるため、大量のエネルギーが使用され、かなりの炭素排出量が発生します。しかし、モデルを公開することで、将来の時系列モデリングの取り組みがより迅速かつ効率的になり、炭素排出量が減少することを期待しています。
MOMENTモデルの学習に消費される総電力を計算するために、Total Graphics Power (TGP) を使用していますが、GPUによって消費される総電力は、モデルの学習中のGPU使用率に応じて多少変動する可能性があります。私たちの計算では、コンピュートの他のソースからの電力需要は考慮されていません。ピッツバーグ で消費される1メガワット時のエネルギーあたりのCO2排出量の標準値として、336.566 Kg C02/MWHを使用しています。
- ハードウェアタイプ:NVIDIA RTX A6000 GPU
- GPU時間:404
- コンピュートリージョン:米国ピッツバーグ
- 炭素排出量 (tCO2eq):
ハードウェア
すべてのモデルは、128個のAMD EPYC 7502 CPU、503 GBのRAM、およびそれぞれ49 GiBのRAMを持つ8個のNVIDIA RTX A6000 GPUから構成されるコンピューティングクラスタで学習および評価されました。すべてのMOMENTバリアントは、単一のA6000 GPUで(データまたはモデルの並列化なしで)学習されました。
📄 ライセンス
このモデルはMITライセンスの下で提供されています。
🔧 技術詳細
論文 MOMENT: A Family of Open Time-series Foundation Models を参照してください。
📖 引用
BibTeX
MOMENTを使用する場合は、以下の論文を引用してください。
@inproceedings{goswami2024moment,
title={MOMENT: A Family of Open Time-series Foundation Models},
author={Mononito Goswami and Konrad Szafer and Arjun Choudhry and Yifu Cai and Shuo Li and Artur Dubrawski},
booktitle={International Conference on Machine Learning},
year={2024}
}
APA
Goswami, M., Szafer, K., Choudhry, A., Cai, Y., Li, S., & Dubrawski, A. (2024).
MOMENT: A Family of Open Time-series Foundation Models. In International Conference on Machine Learning. PMLR.