MOMENT 1 Large

🚀 MOMENT-Large

MOMENT是用於通用時間序列分析的基礎模型家族。該家族的模型具有以下特點：（1）可作為各種時間序列分析任務（如預測、分類、異常檢測和插補等）的構建塊；（2）具備出色的開箱即用能力，即無需（或只需少量）特定任務的示例（支持零樣本預測、少樣本分類等）；（3）能夠使用分佈內和特定任務的數據進行調優，以提升性能。

如需瞭解MOMENT模型、訓練數據和實驗結果的詳細信息，請參考論文MOMENT: A Family of Open Time-series Foundation Models。

MOMENT-1有3種規格：Small、Base和Large。

🚀 快速開始

環境準備

推薦Python版本：Python 3.11（預計很快將支持更多版本）。

安裝指南

你可以使用pip安裝momentfm包：

pip install momentfm

或者，直接從GitHub倉庫安裝最新版本：

pip install git+https://github.com/moment-timeseries-foundation-model/moment.git

💻 使用示例

基礎用法

預測

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-large", 
    model_kwargs={
        'task_name': 'forecasting',
        'forecast_horizon': 96
    },
)
model.init()

分類

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-large", 
    model_kwargs={
        'task_name': 'classification',
        'n_channels': 1,
        'num_class': 2
    },
)
model.init()

異常檢測、插補和預訓練

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-large", 
    model_kwargs={"task_name": "reconstruction"},
)
mode.init()

表徵學習

from momentfm import MOMENTPipeline

model = MOMENTPipeline.from_pretrained(
    "AutonLab/MOMENT-1-large", 
    model_kwargs={'task_name': 'embedding'},
)

教程

以下是使用MOMENT進行各種任務的教程和可復現實驗列表：

• 預測
• 分類
• 異常檢測
• 插補
• 表徵學習
• 真實世界心電圖（ECG）案例研究 -- 本教程還展示瞭如何針對真實世界的心電圖分類問題對MOMENT進行微調，包括在多個GPU上進行訓練和推理以及參數高效微調（PEFT）。

📚 詳細文檔

模型詳情

模型描述

模型資源

• 倉庫：https://github.com/moment-timeseries-foundation-model/ （預訓練和研究代碼即將發佈！）
• 論文：https://arxiv.org/abs/2402.03885
• 演示：https://github.com/moment-timeseries-foundation-model/moment/tree/main/tutorials

環境影響

我們經過多日訓練多個模型，這導致了大量的能源消耗和相當大的碳足跡。不過，我們希望發佈這些模型能夠使未來的時間序列建模工作更加快速高效，從而降低碳排放。

我們使用總圖形功率（TGP）來計算訓練MOMENT模型的總功耗，儘管GPU的實際總功耗可能會根據訓練模型時的GPU利用率略有變化。我們的計算未考慮其他計算資源的電力需求。我們採用匹茲堡每兆瓦時能源消耗的二氧化碳排放標準值336.566 Kg C02/MWH。

硬件

所有模型均在由128個AMD EPYC 7502 CPU、503 GB RAM和8個NVIDIA RTX A6000 GPU（每個GPU擁有49 GiB RAM）組成的計算集群上進行訓練和評估。所有MOMENT變體均在單個A6000 GPU上進行訓練（無數據或模型並行）。

📄 許可證

本項目採用MIT許可證。

📚 引用

如果你使用了MOMENT，請引用我們的論文：

BibTeX：

@inproceedings{goswami2024moment,
  title={MOMENT: A Family of Open Time-series Foundation Models},
  author={Mononito Goswami and Konrad Szafer and Arjun Choudhry and Yifu Cai and Shuo Li and Artur Dubrawski},
  booktitle={International Conference on Machine Learning},
  year={2024}
}

APA： Goswami, M., Szafer, K., Choudhry, A., Cai, Y., Li, S., & Dubrawski, A. (2024). MOMENT: A Family of Open Time-series Foundation Models. In International Conference on Machine Learning. PMLR.