Llama 3 Smaug 8B

🚀 Llama-3-Smaug-8B

Llama-3-Smaug-8B是基于Meta Llama 3构建的模型，运用Smaug配方对meta-llama/Meta-Llama-3-8B-Instruct进行优化，提升了在现实世界多轮对话中的性能。

✨ 主要特性

• 该模型使用Smaug配方，针对现实世界多轮对话场景进行性能优化。
• 相较于Smaug-72B，此版本采用了新技术和新数据。

📚 详细文档

模型描述

• 开发者：Abacus.AI
• 许可证：https://llama.meta.com/llama3/license/
• 微调基础模型：meta-llama/Meta-Llama-3-8B-Instruct

评估

MT-Bench

########## First turn ##########
                   score
model             turn
Llama-3-Smaug-8B 1   8.77500
Meta-Llama-3-8B-Instruct 1   8.31250
########## Second turn ##########
                   score
model             turn
Meta-Llama-3-8B-Instruct 2   7.8875 
Llama-3-Smaug-8B 2   7.8875
########## Average ##########
                 score
model
Llama-3-Smaug-8B  8.331250
Meta-Llama-3-8B-Instruct 8.10

此版本的Smaug与Smaug-72B相比，采用了新技术和新数据，更多信息后续将会公布。目前，可参考之前的Smaug论文：https://arxiv.org/abs/2402.13228。

📄 许可证

该模型使用的许可证为llama2，具体许可信息请参考：https://llama.meta.com/llama3/license/。

数据集

• aqua_rat
• microsoft/orca-math-word-problems-200k
• m-a-p/CodeFeedback-Filtered-Instruction
• anon8231489123/ShareGPT_Vicuna_unfiltered