Moirai 1.0 R Small

🚀 Moirai-1.0-R-Small

Moirai是一個基於掩碼編碼器的通用時間序列預測Transformer，是在LOTSA數據上預訓練的大型時間序列模型。如需瞭解Moirai架構、訓練和結果的更多詳細信息，請參考論文。

圖1：Moirai的整體架構。圖中展示的是一個三維時間序列，其中變量0和1是目標變量（即需要進行預測的變量），變量2是動態協變量（預測範圍內的值已知）。基於64的塊大小，每個變量被分割成3個標記。塊嵌入以及序列和變量ID被輸入到Transformer中。陰影塊表示需要預測的預測範圍，其對應的輸出表示被映射到混合分佈參數中。

🚀 快速開始

要使用Moirai進行推理，需要從我們的GitHub倉庫安裝uni2ts庫。

📦 安裝指南

1. 克隆倉庫：

git clone https://github.com/SalesforceAIResearch/uni2ts.git
cd uni2ts

2. 創建虛擬環境：

virtualenv venv
. venv/bin/activate

3. 從源代碼構建：

pip install -e '.[notebook]'

4. 創建.env文件：

touch .env

💻 使用示例

基礎用法

以下是一個簡單的入門示例：

import torch
import matplotlib.pyplot as plt
import pandas as pd
from gluonts.dataset.pandas import PandasDataset
from gluonts.dataset.split import split

from uni2ts.eval_util.plot import plot_single
from uni2ts.model.moirai import MoiraiForecast, MoiraiModule


SIZE = "small"  # 模型大小: 可從 {'small', 'base', 'large'} 中選擇
PDT = 20  # 預測長度: 任意正整數
CTX = 200  # 上下文長度: 任意正整數
PSZ = "auto"  # 塊大小: 可從 {"auto", 8, 16, 32, 64, 128} 中選擇
BSZ = 32  # 批量大小: 任意正整數
TEST = 100  # 測試集長度: 任意正整數

# 將數據讀取到pandas DataFrame中
url = (
    "https://gist.githubusercontent.com/rsnirwan/c8c8654a98350fadd229b00167174ec4"
    "/raw/a42101c7786d4bc7695228a0f2c8cea41340e18f/ts_wide.csv"
)
df = pd.read_csv(url, index_col=0, parse_dates=True)

# 轉換為GluonTS數據集
ds = PandasDataset(dict(df))

# 拆分為訓練/測試集
train, test_template = split(
    ds, offset=-TEST
)  # 將最後TEST個時間步指定為測試集

# 構建滾動窗口評估
test_data = test_template.generate_instances(
    prediction_length=PDT,  # 每次預測的時間步數
    windows=TEST // PDT,  # 滾動窗口評估中的窗口數量
    distance=PDT,  # 每個窗口之間的時間步數 - 距離=PDT表示非重疊窗口
)

# 通過從huggingface hub下載模型權重來準備預訓練模型
model = MoiraiForecast(
    module=MoiraiModule.from_pretrained(f"Salesforce/moirai-1.0-R-{SIZE}"),
    prediction_length=PDT,
    context_length=CTX,
    patch_size=PSZ,
    num_samples=100,
    target_dim=1,
    feat_dynamic_real_dim=ds.num_feat_dynamic_real,
    past_feat_dynamic_real_dim=ds.num_past_feat_dynamic_real,
)

predictor = model.create_predictor(batch_size=BSZ)
forecasts = predictor.predict(test_data.input)

input_it = iter(test_data.input)
label_it = iter(test_data.label)
forecast_it = iter(forecasts)

inp = next(input_it)
label = next(label_it)
forecast = next(forecast_it)

plot_single(
    inp, 
    label, 
    forecast, 
    context_length=200,
    name="pred",
    show_label=True,
)
plt.show()

📚 詳細文檔

Moirai家族

引用

如果您在研究或應用中使用了Uni2TS，請使用以下BibTeX進行引用：

@article{woo2024unified,
  title={Unified Training of Universal Time Series Forecasting Transformers},
  author={Woo, Gerald and Liu, Chenghao and Kumar, Akshat and Xiong, Caiming and Savarese, Silvio and Sahoo, Doyen},
  journal={arXiv preprint arXiv:2402.02592},
  year={2024}
}

倫理考量

本次發佈僅用於支持學術論文的研究目的。我們的模型、數據集和代碼並非專門為所有下游用途而設計或評估。我們強烈建議用戶在部署此模型之前，評估並解決與準確性、安全性和公平性相關的潛在問題。我們鼓勵用戶考慮人工智能的常見侷限性，遵守適用法律，並在選擇用例時採用最佳實踐，特別是在錯誤或濫用可能對人們的生活、權利或安全產生重大影響的高風險場景中。有關用例的更多指導，請參考我們的AUP和AI AUP。

📄 許可證

本項目採用CC BY-NC 4.0許可證。