Llama 68m

🚀 小型言語モデル

このモデルはWikipediaとC4-en、C4-realnewslikeデータセットの一部で訓練された、68MパラメータのLLaMAライクなモデルです。まだ評価が行われていないため、注意して使用してください。主にSpecInfer論文におけるSmall Speculative Modelのベースとして開発されました。

🚀 クイックスタート

このモデルはテキスト生成に使用できます。ただし、まだ評価が行われていないため、注意して使用してください。

📚 ドキュメント

モデル概要

このモデルは、WikipediaとC4-en、C4-realnewslikeデータセットの一部で訓練された、68MパラメータのLLaMAライクなモデルです。まだ評価が行われていないため、注意して使用してください。主にSpecInfer論文におけるSmall Speculative Modelのベースとして開発されました。

引用

モデルを引用する場合は、以下のBibTeXを使用してください。

@misc{miao2023specinfer,
      title={SpecInfer: Accelerating Generative LLM Serving with Speculative Inference and Token Tree Verification}, 
      author={Xupeng Miao and Gabriele Oliaro and Zhihao Zhang and Xinhao Cheng and Zeyu Wang and Rae Ying Yee Wong and Zhuoming Chen and Daiyaan Arfeen and Reyna Abhyankar and Zhihao Jia},
      year={2023},
      eprint={2305.09781},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

データセット情報

重要提示

⚠️ 重要提示

このモデルはまだ評価が行われていないため、注意して使用してください。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。