Llama3.1 1B Neo BAAI 1000k

🚀 Llama3.1-Neo-1B-100w

Llama-3.1-8B-Instructを1.4Bに剪定し、LLM-Neo手法で微調整した大規模言語モデルです。

🚀 クイックスタート

このモデルは、Llama-3.1-8B-Instructを1.4Bに剪定し、LLM-Neo手法（LoRAとKDを組み合わせた手法）で微調整しています。学習データは、BAAI/Infinity-Instructから100万行サンプリングしています。

モデル情報

関連リンク

• 論文: LLM-Neo: Parameter Efficient Knowledge Distillation for Large Language Models
• コード: https://github.com/yang3121099/LLM-Neo

📚 ドキュメント

ベンチマーク

このセクションでは、Llama3.1-Neo-1B-100wの標準的な自動ベンチマークの結果を報告します。すべての評価には、lm-evaluation-harnessライブラリを使用しています。

評価結果

📄 ライセンス

このプロジェクトは、apache-2.0ライセンスの下で公開されています。