Discolm Mfto 7b German V0.1

🚀 マージ

これは、mergekit を使用して作成された事前学習言語モデルの実験的なマージです。

🚀 クイックスタート

このマージモデルは、特定の事前学習言語モデルを組み合わせることで、より良い性能を目指しています。以下に詳細を説明します。

✨ 主な機能

• ドイツ語生成に特化したモデルのマージ。
• ロールプレイ用途に適したドイツ語応答を生成。

📚 ドキュメント

🔍 マージの詳細

マージ方法

このモデルは、SLERPマージ方法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

• OpenPipe/mistral-ft-optimized-1227
• DiscoResearch/DiscoLM_German_7b_v1

なぜこの2つのモデルを選んだのか？

私の知る限り、この2つのモデルはドイツ語生成において最も優れたモデルです。

DiscoLM German 7Bは、2024年1月21日現在、はるかに優れたドイツ語モデルで、文法エラーが少なく、ドイツ語が自然に聞こえます。ただし、Mistral V0.2またはV0.1でファインチューニングされています。

Mistral FT Optimized 1227は、Mistral 7B V0.2やほとんどの文に文法エラーを含む他のドイツ語ファインチューニングモデルよりもドイツ語での性能が良いです。しかし、そのモデルもDiscoLM German 7Bよりは劣り、ドイツ語の文の形成があまり良くありません。

そこで、この2つのモデルを組み合わせて、特にドイツ語のロールプレイに適した、さらに良いドイツ語モデルを作成することを目的としました。

設定

このモデルを生成するために、以下のYAML設定が使用されました。

slices:
  - sources:
      - model: OpenPipe/mistral-ft-optimized-1227
        layer_range: [0, 32]
      - model: DiscoResearch/DiscoLM_German_7b_v1
        layer_range: [0, 32]
merge_method: slerp
base_model: OpenPipe/mistral-ft-optimized-1227
parameters:
  t:
    - value: [0.5, 0.9]
dtype: bfloat16

この設定は、モデル oshizo/japanese-e5-mistral-7b_slerp から引用されています。