Duo

🚀 Transformers

Transformersライブラリを使用した事前学習モデルで、マスク言語モデリングを行うことができます。

🚀 クイックスタート

事前学習済みモデルをマスク言語モデリングに使用するには、以下のコードスニペットを使用します。

from transformers import AutoModelForMaskedLM, AutoTokenizer

# See the `MDLM` collection page on the hub for list of available models.
tokenizer = transformers.AutoTokenizer.from_pretrained('gpt2')
model = AutoModelForMaskedLM.from_pretrained('s-sahoo/duo')

実際の使用例については、このColabノートブックを参照してください。 詳細情報と実装の詳細については、私たちのGitHubリポジトリを訪問してください: DUO

✨ 主な機能

このモデルは、コンテキスト長が 1024 で、約 1億3000万 の非埋め込みパラメータを持つGPT2-mediumと同程度のサイズです。OpenWebTextコーパスで100万ステップのトレーニングを行っています。 詳細については、以下の論文を参照してください: The Diffusion Duality

📚 ドキュメント

引用

モデルを紹介する論文やブログ記事がある場合、そのAPAおよびBibtex情報はこのセクションに記載します。 以下のBibtexを使用して、私たちの研究を引用してください。 BibTeX:

@inproceedings{
sahoo2025the,
title={The Diffusion Duality},
author={Subham Sekhar Sahoo and Justin Deschenaux and Aaron Gokaslan and Guanghan Wang and Justin T Chiu and Volodymyr Kuleshov},
booktitle={ICLR 2025 Workshop on Deep Generative Model in Machine Learning: Theory, Principle and Efficacy},
year={2025},
url={https://openreview.net/forum?id=CB0Ub2yXjC}
}

モデルカードの問い合わせ先

Subham Sekhar Sahoo (ssahoo@cs.cornell.edu)

📄 ライセンス

このライブラリは、Apache-2.0ライセンスの下で提供されています。