MOMENT 1 Large

🚀 MOMENT-Large

MOMENTは、汎用的な時系列分析のための基礎モデル群です。このモデル群は、以下の特徴を持っています。

1. 様々な時系列分析タスク（予測、分類、異常検出、欠損値補完など）の構成要素として機能します。
2. そのまま有効です。つまり、タスク固有の事例がない（またはほとんどない）状態でも機能し、ゼロショット予測やフューショット分類などが可能です。
3. 分布内のデータやタスク固有のデータを使って調整可能で、パフォーマンスを向上させることができます。

MOMENTモデル、学習データ、および実験結果の詳細については、論文 MOMENT: A Family of Open Time-series Foundation Models を参照してください。

MOMENT-1には、Small、Base、Large の3つのサイズがあります。

🚀 クイックスタート

推奨Pythonバージョン

Python 3.11（近日中に追加のバージョンのサポートが予定されています）。

パッケージのインストール

momentfm パッケージは、pipを使ってインストールできます。

pip install momentfm

または、GitHubリポジトリから最新バージョンを直接インストールすることもできます。

pip install git+https://github.com/moment-timeseries-foundation-model/moment.git

事前学習済みモデルの読み込み

以下のコードスニペットを使って、タスク用の事前学習済みモデルを読み込むことができます。

予測

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-large", 
    model_kwargs={
        'task_name': 'forecasting',
        'forecast_horizon': 96
    },
)
model.init()

分類

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-large", 
    model_kwargs={
        'task_name': 'classification',
        'n_channels': 1,
        'num_class': 2
    },
)
model.init()

異常検出、欠損値補完、事前学習

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-large", 
    model_kwargs={"task_name": "reconstruction"},
)
mode.init()

表現学習

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-large", 
    model_kwargs={'task_name': 'embedding'},
)

チュートリアル

MOMENTを様々なタスクで使い始めるためのチュートリアルと再現可能な実験のリストは以下の通りです。

• 予測
• 分類
• 異常検出
• 欠損値補完
• 表現学習
• 実世界の心電図（ECG）ケーススタディ -- このチュートリアルでは、実世界のECG分類問題に対してMOMENTをファインチューニングする方法、複数のGPUでの学習と推論、およびパラメータ効率的なファインチューニング（PEFT）の方法も示されています。

✨ 主な機能

MOMENTは、汎用的な時系列分析のための基礎モデル群で、様々な時系列分析タスクに適用でき、そのまま有効で、調整可能です。

📦 インストール

momentfm パッケージは、pipを使ってインストールできます。

pip install momentfm

または、GitHubリポジトリから最新バージョンを直接インストールすることもできます。

pip install git+https://github.com/moment-timeseries-foundation-model/moment.git

💻 使用例

基本的な使用法

事前学習済みモデルを読み込むための基本的なコード例は、上記の「予測」「分類」「異常検出、欠損値補完、事前学習」「表現学習」のコードスニペットを参照してください。

📚 ドキュメント

モデルの詳細

モデルの説明

モデルのソース

• リポジトリ：https://github.com/moment-timeseries-foundation-model/ （事前学習と研究コードは近日公開予定！）
• 論文：https://arxiv.org/abs/2402.03885
• デモ：https://github.com/moment-timeseries-foundation-model/moment/tree/main/tutorials

環境への影響

数日間にわたって複数のモデルを学習させるため、大量のエネルギーが使用され、かなりの炭素排出量が発生します。しかし、モデルを公開することで、将来の時系列モデリングの取り組みがより迅速かつ効率的になり、炭素排出量が減少することを期待しています。

MOMENTモデルの学習に消費される総電力を計算するために、Total Graphics Power (TGP) を使用していますが、GPUによって消費される総電力は、モデルの学習中のGPU使用率に応じて多少変動する可能性があります。私たちの計算では、コンピュートの他のソースからの電力需要は考慮されていません。ピッツバーグ で消費される1メガワット時のエネルギーあたりのCO2排出量の標準値として、336.566 Kg C02/MWHを使用しています。

• ハードウェアタイプ：NVIDIA RTX A6000 GPU
• GPU時間：404
• コンピュートリージョン：米国ピッツバーグ
• 炭素排出量 (tCO2eq)：

ハードウェア

すべてのモデルは、128個のAMD EPYC 7502 CPU、503 GBのRAM、およびそれぞれ49 GiBのRAMを持つ8個のNVIDIA RTX A6000 GPUから構成されるコンピューティングクラスタで学習および評価されました。すべてのMOMENTバリアントは、単一のA6000 GPUで（データまたはモデルの並列化なしで）学習されました。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

🔧 技術詳細

論文 MOMENT: A Family of Open Time-series Foundation Models を参照してください。

📖 引用

BibTeX

MOMENTを使用する場合は、以下の論文を引用してください。

@inproceedings{goswami2024moment,
  title={MOMENT: A Family of Open Time-series Foundation Models},
  author={Mononito Goswami and Konrad Szafer and Arjun Choudhry and Yifu Cai and Shuo Li and Artur Dubrawski},
  booktitle={International Conference on Machine Learning},
  year={2024}
}

APA

Goswami, M., Szafer, K., Choudhry, A., Cai, Y., Li, S., & Dubrawski, A. (2024). MOMENT: A Family of Open Time-series Foundation Models. In International Conference on Machine Learning. PMLR.