Duo

🚀 Transformers庫 - DUO模型

Transformers庫的DUO模型可用於掩碼語言建模，為自然語言處理任務提供預訓練能力。

🚀 快速開始

使用預訓練模型

若要使用預訓練模型進行掩碼語言建模，請使用以下代碼片段：

from transformers import AutoModelForMaskedLM, AutoTokenizer

# 查看模型中心的 `MDLM` 集合頁面，獲取可用模型列表。
tokenizer = transformers.AutoTokenizer.from_pretrained('gpt2')
model = AutoModelForMaskedLM.from_pretrained('s-sahoo/duo')

實踐示例

如需實踐示例，請查看此 Colab筆記本。

更多信息和實現細節

如需更多信息和實現細節，請訪問我們的GitHub倉庫：DUO

✨ 主要特性

模型詳情

該模型的上下文長度為 1024，大小與GPT2-medium相近，約有 1.3億 個非嵌入參數。該模型在OpenWebText語料庫上進行了100萬步的訓練。

如需更多詳情，請參閱我們的論文：The Diffusion Duality。

📄 許可證

本項目採用Apache-2.0許可證。

📚 詳細文檔

引用信息

如果您使用了該模型，請使用以下BibTeX引用我們的工作：

@inproceedings{
sahoo2025the,
title={The Diffusion Duality},
author={Subham Sekhar Sahoo and Justin Deschenaux and Aaron Gokaslan and Guanghan Wang and Justin T Chiu and Volodymyr Kuleshov},
booktitle={ICLR 2025 Workshop on Deep Generative Model in Machine Learning: Theory, Principle and Efficacy},
year={2025},
url={https://openreview.net/forum?id=CB0Ub2yXjC}
}

模型卡片聯繫人

如有任何問題，請聯繫 Subham Sekhar Sahoo (ssahoo@cs.cornell.edu)。

信息表格