Llama 3 Smaug 8B

🚀 Llama-3-Smaug-8B

このモデルは、実世界のマルチターン会話でのパフォーマンス向上のためのSmaugレシピを、meta-llama/Meta-Llama-3-8B-Instructに適用して構築されました。

🚀 クイックスタート

このモデルは、Meta Llama 3をベースに構築されています。

✨ 主な機能

このモデルは、Smaugレシピを用いて構築され、実世界のマルチターン会話でのパフォーマンス向上を目指しています。

📚 ドキュメント

モデルの説明

• 開発元: Abacus.AI
• ライセンス: https://llama.meta.com/llama3/license/
• ファインチューニング元のモデル: meta-llama/Meta-Llama-3-8B-Instruct

評価

MT-Bench

########## 最初のターン ##########
                   score
model             turn
Llama-3-Smaug-8B 1   8.77500
Meta-Llama-3-8B-Instruct 1   8.31250
########## 2回目のターン ##########
                   score
model             turn
Meta-Llama-3-8B-Instruct 2   7.8875 
Llama-3-Smaug-8B 2   7.8875
########## 平均 ##########
                 score
model
Llama-3-Smaug-8B  8.331250
Meta-Llama-3-8B-Instruct 8.10

このバージョンのSmaugは、Smaug-72Bと比較して、新しい技術と新しいデータを使用しています。詳細な情報は後日公開されます。現時点では、以前のSmaug論文を参照してください: https://arxiv.org/abs/2402.13228。

📄 ライセンス

このモデルは、llama2ライセンスの下で提供されています。