Duo

🚀 Transformers库 - DUO模型

Transformers库的DUO模型可用于掩码语言建模，为自然语言处理任务提供预训练能力。

🚀 快速开始

使用预训练模型

若要使用预训练模型进行掩码语言建模，请使用以下代码片段：

from transformers import AutoModelForMaskedLM, AutoTokenizer

# 查看模型中心的 `MDLM` 集合页面，获取可用模型列表。
tokenizer = transformers.AutoTokenizer.from_pretrained('gpt2')
model = AutoModelForMaskedLM.from_pretrained('s-sahoo/duo')

实践示例

如需实践示例，请查看此 Colab笔记本。

更多信息和实现细节

如需更多信息和实现细节，请访问我们的GitHub仓库：DUO

✨ 主要特性

模型详情

该模型的上下文长度为 1024，大小与GPT2-medium相近，约有 1.3亿 个非嵌入参数。该模型在OpenWebText语料库上进行了100万步的训练。

如需更多详情，请参阅我们的论文：The Diffusion Duality。

📄 许可证

本项目采用Apache-2.0许可证。

📚 详细文档

引用信息

如果您使用了该模型，请使用以下BibTeX引用我们的工作：

@inproceedings{
sahoo2025the,
title={The Diffusion Duality},
author={Subham Sekhar Sahoo and Justin Deschenaux and Aaron Gokaslan and Guanghan Wang and Justin T Chiu and Volodymyr Kuleshov},
booktitle={ICLR 2025 Workshop on Deep Generative Model in Machine Learning: Theory, Principle and Efficacy},
year={2025},
url={https://openreview.net/forum?id=CB0Ub2yXjC}
}

模型卡片联系人

如有任何问题，请联系 Subham Sekhar Sahoo (ssahoo@cs.cornell.edu)。

信息表格