Llama 68m

🚀 小型類LLaMA模型

這是一個小型的類LLaMA模型，能用於文本生成。它基於維基百科以及部分C4-en和C4-realnewslike數據集進行訓練，參數僅6800萬，可作為基礎模型用於相關研究。

🚀 快速開始

目前該模型尚未進行評估，請謹慎使用。

📚 詳細文檔

模型描述

這是一個參數僅6800萬的類LLaMA模型，在維基百科以及部分C4-en和C4-realnewslike數據集上進行了訓練。

目前尚未對該模型進行評估，因此使用時請謹慎。

該模型主要作為SpecInfer論文中的基礎小型推測模型而開發。

引用信息

若要引用該模型，請使用以下BibTeX格式：

@misc{miao2023specinfer,
      title={SpecInfer: Accelerating Generative LLM Serving with Speculative Inference and Token Tree Verification}, 
      author={Xupeng Miao and Gabriele Oliaro and Zhihao Zhang and Xinhao Cheng and Zeyu Wang and Rae Ying Yee Wong and Zhuoming Chen and Daiyaan Arfeen and Reyna Abhyankar and Zhihao Jia},
      year={2023},
      eprint={2305.09781},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

模型信息

重要提示

⚠️ 重要提示

目前該模型尚未進行評估，請謹慎使用。

📄 許可證

本模型採用Apache-2.0許可證。