Glm 2b

🚀 GLM - 通用語言模型

GLM是一種通用語言模型，它採用自迴歸填空目標進行預訓練，可在各種自然語言理解和生成任務上進行微調。本模型能有效解決自然語言處理中的多種任務，為相關研究和應用提供強大支持。

🚀 快速開始

GLM可在多種自然語言理解和生成任務上進行微調。若需詳細瞭解GLM，請參考我們的論文： GLM: General Language Model Pretraining with Autoregressive Blank Infilling (ACL 2022)

Zhengxiao Du*, Yujie Qian*, Xiao Liu, Ming Ding, Jiezhong Qiu, Zhilin Yang, Jie Tang (*: 同等貢獻)

更多示例請查看我們的 Github 倉庫。

✨ 主要特性

GLM採用自迴歸填空目標進行預訓練，適用於自然語言理解、序列到序列以及語言建模等多種任務。

📚 詳細文檔

模型描述

glm - 2b 在 Pile 數據集上進行預訓練。它有36個Transformer層，每層的隱藏大小為4096，有64個注意力頭。該模型使用為自然語言理解、序列到序列和語言建模設計的自迴歸填空目標進行預訓練。更多細節請查看我們的 倉庫。

使用方法

請參考我們Github倉庫中的 [說明](https://github.com/THUDM/GLM#hugging - face - hub)。

我們針對不同任務使用三種不同的掩碼標記：[MASK] 用於短填空，[sMASK] 用於句子填空，[gMASK] 用於從左到右的生成。你可以從 [這裡](https://github.com/THUDM/GLM#left - to - right - generation--blank - filling - interactive) 找到不同掩碼的示例。預測總是以特殊標記 <|startofpiece|> 開始，以 <|endofpiece|> 標記結束。

📄 引用

如果您發現此代碼對您的研究有用，請引用我們的論文：

@article{DBLP:conf/acl/DuQLDQY022,
  author    = {Zhengxiao Du and
               Yujie Qian and
               Xiao Liu and
               Ming Ding and
               Jiezhong Qiu and
               Zhilin Yang and
               Jie Tang},
  title     = {{GLM:} General Language Model Pretraining with Autoregressive Blank Infilling},
  booktitle = {Proceedings of the 60th Annual Meeting of the Association for Computational
               Linguistics (Volume 1: Long Papers), {ACL} 2022, Dublin, Ireland,
               May 22-27, 2022},
  pages     = {320--335},
  publisher = {Association for Computational Linguistics},
  year      = {2022},
}