Llama 3 Smaug 8B

🚀 Llama-3-Smaug-8B

Llama-3-Smaug-8B是基於Meta Llama 3構建的模型，運用Smaug配方對meta-llama/Meta-Llama-3-8B-Instruct進行優化，提升了在現實世界多輪對話中的性能。

✨ 主要特性

• 該模型使用Smaug配方，針對現實世界多輪對話場景進行性能優化。
• 相較於Smaug-72B，此版本採用了新技術和新數據。

📚 詳細文檔

模型描述

• 開發者：Abacus.AI
• 許可證：https://llama.meta.com/llama3/license/
• 微調基礎模型：meta-llama/Meta-Llama-3-8B-Instruct

評估

MT-Bench

########## First turn ##########
                   score
model             turn
Llama-3-Smaug-8B 1   8.77500
Meta-Llama-3-8B-Instruct 1   8.31250
########## Second turn ##########
                   score
model             turn
Meta-Llama-3-8B-Instruct 2   7.8875 
Llama-3-Smaug-8B 2   7.8875
########## Average ##########
                 score
model
Llama-3-Smaug-8B  8.331250
Meta-Llama-3-8B-Instruct 8.10

此版本的Smaug與Smaug-72B相比，採用了新技術和新數據，更多信息後續將會公佈。目前，可參考之前的Smaug論文：https://arxiv.org/abs/2402.13228。

📄 許可證

該模型使用的許可證為llama2，具體許可信息請參考：https://llama.meta.com/llama3/license/。

數據集

• aqua_rat
• microsoft/orca-math-word-problems-200k
• m-a-p/CodeFeedback-Filtered-Instruction
• anon8231489123/ShareGPT_Vicuna_unfiltered