MOMENT 1 Small

🚀 MOMENT-Small

MOMENTは、汎用的な時系列分析のための基盤モデル群です。このモデル群は、(1) 様々な時系列分析タスク（予測、分類、異常検出、補間など）の構成要素として機能し、(2) タスク固有のサンプルがなくても（または少数でも）すぐに有効であり（例えば、ゼロショット予測、フューショット分類などが可能）、(3) 分布内およびタスク固有のデータを使用して性能を向上させるために調整可能です。

MOMENTモデル、学習データ、および実験結果の詳細については、論文 MOMENT: A Family of Open Time-series Foundation Models を参照してください。

MOMENT-1には3つのサイズがあります: Small、Base、および Large。

🚀 クイックスタート

📦 インストール

推奨Pythonバージョン: Python 3.11（近日、追加のバージョンのサポートが予定されています）。

momentfm パッケージをpipを使用してインストールできます:

pip install momentfm

または、GitHubリポジトリから最新バージョンを直接インストールするには:

pip install git+https://github.com/moment-timeseries-foundation-model/moment.git

💻 使用例

基本的な使用法

タスクの1つに対して事前学習済みモデルをロードするには、以下のコードスニペットのいずれかを使用します。

予測

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-small", 
    model_kwargs={
        'task_name': 'forecasting',
        'forecast_horizon': 96
    },
)
model.init()

分類

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-small", 
    model_kwargs={
        'task_name': 'classification',
        'n_channels': 1,
        'num_class': 2
    },
)
model.init()

異常検出、補間、および事前学習

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-small", 
    model_kwargs={"task_name": "reconstruction"},
)
mode.init()

表現学習

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-small", 
    model_kwargs={'task_name': 'embedding'},
)

チュートリアル

MOMENTを様々なタスクで使用するためのチュートリアルと再現可能な実験のリストは次の通りです:

• 予測
• 分類
• 異常検出
• 補間
• 表現学習
• 実世界の心電図（ECG）ケーススタディ -- このチュートリアルでは、実世界のECG分類問題に対してMOMENTをファインチューニングする方法、複数のGPUでの学習と推論、およびパラメータ効率的なファインチューニング（PEFT）も示されています。

📚 ドキュメント

モデルの詳細

モデルの説明

モデルのソース

• リポジトリ: https://github.com/moment-timeseries-foundation-model/ （事前学習と研究コードは近日公開予定！）
• 論文: https://arxiv.org/abs/2402.03885
• デモ: https://github.com/moment-timeseries-foundation-model/moment/tree/main/tutorials

環境への影響

数日間にわたって複数のモデルを学習させるため、大量のエネルギーが使用され、大きな炭素排出量となります。しかし、モデルを公開することで、将来の時系列モデリングの取り組みがより迅速かつ効率的になり、炭素排出量が減少することを期待しています。

MOMENTモデルの学習に消費される総電力を計算するために、総グラフィックスパワー（TGP）を使用しています。ただし、GPUが消費する総電力は、モデルの学習中のGPU使用率によって多少変動する可能性があります。私たちの計算では、コンピューティングの他のソースからの電力需要は考慮されていません。ピッツバーグで消費されるエネルギー1メガワット時あたりのCO2排出量の標準値として、336.566 Kg C02/MWHを使用しています。

• ハードウェアタイプ: NVIDIA RTX A6000 GPU
• GPU時間: 48
• コンピュートリージョン: アメリカ、ピッツバーグ
• 炭素排出量 (tCO2eq):

ハードウェア

すべてのモデルは、128個のAMD EPYC 7502 CPU、503 GBのRAM、およびそれぞれ49 GiBのRAMを持つ8個のNVIDIA RTX A6000 GPUから構成されるコンピューティングクラスターで学習および評価されました。すべてのMOMENTバリアントは、単一のA6000 GPUで学習されました（データまたはモデルの並列化は行われません）。

引用

BibTeX: MOMENTを使用する場合は、以下の論文を引用してください:

@inproceedings{goswami2024moment,
  title={MOMENT: A Family of Open Time-series Foundation Models},
  author={Mononito Goswami and Konrad Szafer and Arjun Choudhry and Yifu Cai and Shuo Li and Artur Dubrawski},
  booktitle={International Conference on Machine Learning},
  year={2024}
}

APA: Goswami, M., Szafer, K., Choudhry, A., Cai, Y., Li, S., & Dubrawski, A. (2024). MOMENT: A Family of Open Time-series Foundation Models. In International Conference on Machine Learning. PMLR.