Tito 7B Slerp

🚀 Tito-7B-slerp

Tito-7B-slerpは、mergekitを使用して以下のモデルをマージしたものです。

• gordicaleksa/YugoGPT
• mlabonne/AlphaMonarch-7B

🚀 クイックスタート

Tito-7B-slerpは、特定のモデルをマージして作成されたモデルで、自然言語処理のタスクに使用できます。以下のセクションでは、その設定と評価結果について説明します。

✨ 主な機能

• 複数のモデルをマージして新しいモデルを作成する機能。
• 自然言語処理タスクにおいて、特定の評価指標で良好な性能を発揮する。

📚 ドキュメント

🧩 設定

slices:
  - sources:
      - model: gordicaleksa/YugoGPT
        layer_range: [0, 32]
      - model: mlabonne/AlphaMonarch-7B
        layer_range: [0, 32]
merge_method: slerp
base_model: mlabonne/AlphaMonarch-7B
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.6
dtype: bfloat16

結果

セルビア語のLLM評価セットにおける評価結果（セルビア語の性能と知識）:

ここで、すべてのベンチマークは0ショットで行われましたが、NQ OpenとTriviaQAは5ショットで行われ、Mistral論文との比較が可能になっています。

利用可能なセルビア語データセットでOpenLLM Leaderboardの結果を再現しようとすると、以下のような結果が得られます。

なお、YugoGPT、Llama3、SambaLingoはすべてベースモデルであり、TitoとPerucacとは異なります。

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。