Llama 160m

🚀 小型推論モデル

このモデルはWikipediaとC4-enおよびC4-realnewslikeデータセットの一部を使って学習された、たった160MパラメータのLLaMAライクなモデルです。現在まで評価は行われていないため、注意して使用してください。このモデルは主にSpecInfer論文における小型推論ベースモデルとして開発されました。

📚 ドキュメント

モデルの詳細

重要な注意事項

⚠️ 重要提示

このモデルはまだ評価が行われていません。使用する際は注意してください。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📚 引用

このモデルを引用する場合は、以下のBibTeXを使用してください。

@misc{miao2023specinfer,
      title={SpecInfer: Accelerating Generative LLM Serving with Speculative Inference and Token Tree Verification}, 
      author={Xupeng Miao and Gabriele Oliaro and Zhihao Zhang and Xinhao Cheng and Zeyu Wang and Rae Ying Yee Wong and Zhuoming Chen and Daiyaan Arfeen and Reyna Abhyankar and Zhihao Jia},
      year={2023},
      eprint={2305.09781},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}