Duo Distilled

🚀 DUO

DUOは、事前学習されたマスク言語モデルで、自然言語処理タスクに利用できます。

🚀 クイックスタート

事前学習済みのマスク言語モデルを使用するには、以下のコードを使用します。

from transformers import AutoModelForMaskedLM, AutoTokenizer

# See the `MDLM` collection page on the hub for list of available models.
tokenizer = transformers.AutoTokenizer.from_pretrained('gpt2')
model = AutoModelForMaskedLM.from_pretrained('s-sahoo/duo-distilled')

実践的な例については、このColabノートブックを確認してください。 詳細情報と実装の詳細については、私たちのGitHubリポジトリを訪問してください：DUO

💻 使用例

基本的な使用法

from transformers import AutoModelForMaskedLM, AutoTokenizer

# See the `MDLM` collection page on the hub for list of available models.
tokenizer = transformers.AutoTokenizer.from_pretrained('gpt2')
model = AutoModelForMaskedLM.from_pretrained('s-sahoo/duo-distilled')

📚 ドキュメント

モデルの詳細

このモデルは、コンテキスト長が 1024 で、GPT2-mediumと同程度のサイズで、約 1億3000万 の非埋め込みパラメータを持ち、OpenWebTextコーパスで100万ステップの学習を行っています。 詳細については、私たちの論文を参照してください：The Diffusion Duality。 プロジェクトページ: https://s-sahoo.com/duo

引用

以下のBibTeXを使用して、私たちの研究を引用してください： BibTeX:

@inproceedings{
sahoo2025the,
title={The Diffusion Duality},
author={Subham Sekhar Sahoo and Justin Deschenaux and Aaron Gokaslan and Guanghan Wang and Justin T Chiu and Volodymyr Kuleshov},
booktitle={ICLR 2025 Workshop on Deep Generative Model in Machine Learning: Theory, Principle and Efficacy},
year={2025},
url={https://openreview.net/forum?id=CB0Ub2yXjC}
}

モデルカードの連絡先

Subham Sekhar Sahoo (ssahoo@cs.cornell.edu)

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

📦 モデル情報