Tito 7B Slerp

🚀 Tito-7B-slerp

Tito-7B-slerp是一個通過mergekit合併以下模型得到的模型：

• gordicaleksa/YugoGPT
• mlabonne/AlphaMonarch-7B

該模型在文本生成任務上表現出色，為相關領域的研究和應用提供了有力支持。

📚 詳細文檔

🧩 配置

slices:
  - sources:
      - model: gordicaleksa/YugoGPT
        layer_range: [0, 32]
      - model: mlabonne/AlphaMonarch-7B
        layer_range: [0, 32]
merge_method: slerp
base_model: mlabonne/AlphaMonarch-7B
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.6
dtype: bfloat16

📊 結果

塞爾維亞LLM評估套件評估

對塞爾維亞LLM評估套件的評估（即對塞爾維亞語的性能和知識掌握情況）：

這裡，除了NQ Open和TriviaQA以5-shot方式進行外，所有基準測試均以0-shot方式進行，以便與Mistral論文進行比較。

複製OpenLLM排行榜結果

如果我們嘗試在可用的塞爾維亞數據集上覆制OpenLLM排行榜的結果（運行適當數量的shots而不是0-shot），我們得到：

請注意，與Tito和Perucac不同，YugoGPT、Llama3和SambaLingo都是基礎模型。

📈 Open LLM排行榜評估結果

詳細結果可在此處找到。

📄 許可證

本項目採用Apache-2.0許可證。