Granite Timeseries Patchtsmixer

🚀 PatchTSMixer模型（基于ETTh1数据集预训练）

PatchTSMixer 是一种轻量级且快速的多变量时间序列预测模型，在基准数据集上具有领先的性能。本项目提供了一个基于 ETTh1 数据集所有七个通道预训练的 PatchTSMixer 模型。该预训练模型在 ETTh1 数据集的 test 分割上，以512小时的历史数据窗口预测未来96小时时，均方误差（MSE）为0.37。

🚀 快速开始

若要训练和评估 PatchTSMixer 模型，可参考 此笔记本。

✨ 主要特性

• 轻量级架构：基于MLP - Mixer架构，计算资源消耗少。
• 高性能表现：在基准数据集上达到了先进水平，在预测性能上大幅超越了现有的MLP和Transformer模型。
• 灵活可定制：支持从简单门控注意力到更复杂的自注意力机制等多种注意力机制。
• 多任务支持：可进行预训练，并用于预测、分类和回归等各种下游任务。

📚 详细文档

模型详情

PatchTSMixer 模型由Vijay Ekambaram、Arindam Jati、Nam Nguyen、Phanwadee Sinthong和Jayant Kalagnanam在 TSMixer: Lightweight MLP - Mixer Model for Multivariate Time Series Forecasting 中提出。

PatchTSMixer 是一种基于MLP - Mixer架构的轻量级时间序列建模方法。在 HuggingFace实现 中，它能够轻松实现跨补丁、通道和隐藏特征的轻量级混合，以进行有效的多变量时间序列建模。它还支持各种注意力机制，可根据需要进行定制。该模型可以进行预训练，随后用于预测、分类和回归等各种下游任务。

模型描述

TSMixer是一种仅由多层感知器（MLP）模块组成的轻量级神经架构，专为多变量预测和补丁时间序列的表示学习而设计。该模型的灵感来源于MLP - Mixer模型在计算机视觉领域的成功。研究团队展示了将视觉MLP - Mixer应用于时间序列的挑战，并引入了经过实证验证的组件来提高准确性。这包括一种将在线调和头附加到MLP - Mixer骨干的新颖设计范式，用于显式建模时间序列的属性，如层次结构和通道相关性。此外，还提出了一种混合通道建模方法，以有效处理噪声通道交互和不同数据集之间的泛化问题，这是现有补丁通道混合方法中的常见挑战。同时，在骨干中引入了一种简单的门控注意力机制，以优先考虑重要特征。通过整合这些轻量级组件，显著增强了简单MLP结构的学习能力，在计算资源使用极少的情况下超越了复杂的Transformer模型。此外，TSMixer的模块化设计使其与监督和掩码自监督学习方法兼容，使其成为时间序列基础模型的有前途的构建块。TSMixer在预测方面比最先进的MLP和Transformer模型高出8 - 60%，并且在内存和运行时间上显著减少（2 - 3倍）的情况下，比最新的Patch - Transformer模型基准高出1 - 2%。

模型来源

• 仓库：PatchTSMixer Hugging Face
• 论文：PatchTSMixer KDD 2023 paper
• 演示：Get started with PatchTSMixer

🔧 技术细节

用途

此预训练模型可用于微调或评估任何与 ETTh1 数据集具有相同通道（即 HUFL, HULL, MUFL, MULL, LUFL, LULL, OT）的电力变压器数据集。该模型旨在根据前512小时的输入值预测未来96小时的值。需要注意的是，数据必须进行归一化处理。有关数据预处理的更多详细信息，请参考论文或演示。

训练详情

训练数据

ETTh1/train split。训练/验证/测试分割情况可在 演示 中查看。

训练超参数

请参考 PatchTSMixer论文。

评估

测试数据、因素和指标

• 测试数据：ETTh1/test split。训练/验证/测试分割情况可在 演示 中查看。
• 指标：均方误差（MSE）。

结果

硬件

1块NVIDIA A100 GPU

软件

PyTorch

📄 许可证

本项目采用Apache - 2.0许可证。

📖 引用

BibTeX：

@article{ekambaram2023tsmixer,
  title={TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting},
  author={Ekambaram, Vijay and Jati, Arindam and Nguyen, Nam and Sinthong, Phanwadee and Kalagnanam, Jayant},
  journal={arXiv preprint arXiv:2306.09364},
  year={2023}
}

APA：

Ekambaram, V., Jati, A., Nguyen, N., Sinthong, P., & Kalagnanam, J. (2023). TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting. arXiv preprint arXiv:2306.09364.