Diffullama

🚀 擴散大語言模型（DiffuLLaMA）

本項目的擴散大語言模型（DiffuLLaMA）是基於預訓練模型微調而來的語言模型，可用於自然語言處理等多種任務，為相關領域的研究和應用提供了有力支持。

🚀 快速開始

模型的詳細信息和加載方式可查看https://github.com/HKUNLP/DiffuLLaMA。

📚 詳細文檔

模型信息

框架版本

• Transformers 4.44.2
• Pytorch 2.1.1+cu121
• Datasets 2.21.0
• Tokenizers 0.19.1

引用信息

@misc{gong2024scalingdiffusionlanguagemodels,
      title={Scaling Diffusion Language Models via Adaptation from Autoregressive Models}, 
      author={Shansan Gong and Shivam Agarwal and Yizhe Zhang and Jiacheng Ye and Lin Zheng and Mukai Li and Chenxin An and Peilin Zhao and Wei Bi and Jiawei Han and Hao Peng and Lingpeng Kong},
      year={2024},
      eprint={2410.17891},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2410.17891}, 
}

📄 許可證

本模型使用的是 apache - 2.0 許可證。