Tito 7B Slerp

🚀 Tito-7B-slerp

Tito-7B-slerp是一个通过mergekit合并以下模型得到的模型：

• gordicaleksa/YugoGPT
• mlabonne/AlphaMonarch-7B

该模型在文本生成任务上表现出色，为相关领域的研究和应用提供了有力支持。

📚 详细文档

🧩 配置

slices:
  - sources:
      - model: gordicaleksa/YugoGPT
        layer_range: [0, 32]
      - model: mlabonne/AlphaMonarch-7B
        layer_range: [0, 32]
merge_method: slerp
base_model: mlabonne/AlphaMonarch-7B
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.6
dtype: bfloat16

📊 结果

塞尔维亚LLM评估套件评估

对塞尔维亚LLM评估套件的评估（即对塞尔维亚语的性能和知识掌握情况）：

这里，除了NQ Open和TriviaQA以5-shot方式进行外，所有基准测试均以0-shot方式进行，以便与Mistral论文进行比较。

复制OpenLLM排行榜结果

如果我们尝试在可用的塞尔维亚数据集上复制OpenLLM排行榜的结果（运行适当数量的shots而不是0-shot），我们得到：

请注意，与Tito和Perucac不同，YugoGPT、Llama3和SambaLingo都是基础模型。

📈 Open LLM排行榜评估结果

详细结果可在此处找到。

📄 许可证

本项目采用Apache-2.0许可证。