Glm 2b

🚀 GLM

GLMは、自己回帰的な空白埋めの目的で事前学習された汎用言語モデルで、様々な自然言語理解と生成タスクに対して微調整することができます。

GLMの詳細な説明については、当社の論文を参照してください：

GLM: General Language Model Pretraining with Autoregressive Blank Infilling (ACL 2022)

Zhengxiao Du*, Yujie Qian*, Xiao Liu, Ming Ding, Jiezhong Qiu, Zhilin Yang, Jie Tang (*: 同等の貢献)

Githubのリポジトリでより多くの例を見つけることができます。

🚀 クイックスタート

GLMは、自己回帰的な空白埋めの目的で事前学習された汎用言語モデルで、様々な自然言語理解と生成タスクに対応します。詳細は論文やGitHubのリポジトリを参照してください。

✨ 主な機能

• 自己回帰的な空白埋めの目的で事前学習されています。
• 様々な自然言語理解と生成タスクに微調整可能です。

📚 ドキュメント

モデルの説明

glm-2b は、Pile データセットで事前学習されています。36層のTransformer層を持ち、各層には隠れサイズ4096と64個のアテンションヘッドがあります。このモデルは、自然言語理解、seq2seq、および言語モデリングのために設計された自己回帰的な空白埋めの目的で事前学習されています。詳細はリポジトリを参照してください。

使い方

GitHubのリポジトリの説明書を参照してください。

異なるタスクには3つの異なるマスクトークンを使用します：短い空白埋めには [MASK]、文の埋めには [sMASK]、左から右への生成には [gMASK] を使用します。異なるマスクの例はこちらから見つけることができます。予測は常に特殊な <|startofpiece|> トークンで始まり、<|endofpiece|> トークンで終わります。

引用

このコードがあなたの研究に役立つ場合、以下のように論文を引用してください：

@article{DBLP:conf/acl/DuQLDQY022,
  author    = {Zhengxiao Du and
               Yujie Qian and
               Xiao Liu and
               Ming Ding and
               Jiezhong Qiu and
               Zhilin Yang and
               Jie Tang},
  title     = {{GLM:} General Language Model Pretraining with Autoregressive Blank Infilling},
  booktitle = {Proceedings of the 60th Annual Meeting of the Association for Computational
               Linguistics (Volume 1: Long Papers), {ACL} 2022, Dublin, Ireland,
               May 22-27, 2022},
  pages     = {320--335},
  publisher = {Association for Computational Linguistics},
  year      = {2022},
}