Llama 160m

🚀 類LLaMA小參數模型

這個模型是一個類LLaMA模型，僅包含1.6億參數，在維基百科、部分C4英文數據集和C4真實新聞類數據集上進行訓練。它主要作為SpecInfer論文中的基礎小型推測模型而開發。目前尚未進行評估，請謹慎使用。

📚 詳細文檔

模型描述

這是一個僅含1.6億參數的類LLaMA模型，在維基百科、部分C4英文數據集和C4真實新聞類數據集上進行了訓練。

目前尚未對該模型進行評估，因此使用時請謹慎。

該模型主要作為SpecInfer論文中的基礎小型推測模型開發。

模型信息

引用信息

如需引用該模型，請使用以下格式：

@misc{miao2023specinfer,
      title={SpecInfer: Accelerating Generative LLM Serving with Speculative Inference and Token Tree Verification}, 
      author={Xupeng Miao and Gabriele Oliaro and Zhihao Zhang and Xinhao Cheng and Zeyu Wang and Rae Ying Yee Wong and Zhuoming Chen and Daiyaan Arfeen and Reyna Abhyankar and Zhihao Jia},
      year={2023},
      eprint={2305.09781},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 許可證

本模型採用Apache-2.0許可證。