Capytessborosyi 34B 200K DARE Ties

🚀 廃止されました。詳細はこちらを参照: https://huggingface.co/brucethemoose/CaPlatTessDolXaBoros-Yi-34B-200K-DARE-Ties-HighDensity

このモデルは廃止されており、指定されたリンク先を参照してください。

✨ 主な機能

NousResearch/Nous - Capybara - 34B、migtissera/Tess - M - v1.3、bhenrym14/airoboros - 3_1 - yi - 34b - 200k を、mergekitを通じた新しい実験的な「dare ties」の実装でマージしています。詳細は以下の論文とリンクを参照してください。

Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch

https://github.com/yule - BUAA/MergeLM

https://github.com/cg123/mergekit/tree/dare

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

以下はマージに使用された設定です。

models:
  - model: /home/alpha/Storage/Models/Raw/chargoddard_Yi-34B-200K-Llama
    # no parameters necessary for base model
  - model: /home/alpha/Storage/Models/Raw/migtissera_Tess-M-v1.3
    parameters:
      weight: 0.41
      density: 0.50
  - model: /home/alpha//Storage/Models/Raw/bhenrym14_airoboros-3_1-yi-34b-200k
    parameters:
      weight: 0.18
      density: 0.46
  - model: /home/alpha/Storage/Models/Raw/Nous-Capybara-34B
    parameters:
      weight: 0.41
      density: 0.50
merge_method: dare_ties
base_model: /home/alpha/Storage/Models/Raw/chargoddard_Yi-34B-200K-Llama
parameters:
  int8_mask: true
  dtype: bfloat16

高度な使用法

このモデルは、「dare ties」を使用してマージされており、通常のtiesマージよりも良いパープレキシティを持っています。また、合計が1になるモデルの重みが最適であることがテストでわかっています。高コンテキストの結果は、以前のTess 1.2とのdareマージよりも良いようです。

📚 ドキュメント

プロンプトテンプレート

SYSTEM: {system_message}
USER: {prompt}
ASSISTANT:

このモデルはYiモデルであるため、出力が正しくない場合は、BOSトークンを無効にするか、MinPを使用して低温で実行することを試してください（他のサンプラーは使用しないでください）。Yiはデフォルトで「高温」で動作する傾向があります。

また、モデルはCapybaraのように停止トークンを <\s> として「明示的に」出力することがあるため、追加の停止条件として <\s> を追加する必要がある場合があります。また、llama - 2チャット形式にも反応する可能性があります。

GPUでの実行

24GBのGPUでは、exllamav2を使用してYi - 34B - 200Kモデルを 45K - 75Kコンテキスト で実行できます。詳細については、この投稿を参照してください。また、目的のタスクに似たデータに対するexl2量子化をおすすめします。例えば、物語作成を対象とした以下の量子化モデルがあります。 4.0bpw / 3.1bpw

🔧 技術詳細

dare tiesは、同じマージ設定で通常のtiesマージよりも良いパープレキシティでテストされています。また、合計が1になるモデルの重みが最適であることがテストでわかっています。高コンテキストの結果は、以前のTess 1.2とのdareマージよりも良いようです。

📄 ライセンス

このモデルは、[yi - license](https://huggingface.co/01 - ai/Yi - 34B/blob/main/LICENSE)の下で提供されています。

クレジット

• https://github.com/cg123/mergekit/tree/dare
• https://huggingface.co/NousResearch/Nous - Capybara - 34B/
• https://huggingface.co/bhenrym14/airoboros - 3_1 - yi - 34b - 200k
• https://huggingface.co/migtissera/Tess - M - v1.3
• https://huggingface.co/chargoddard/Yi - 34B - 200K - Llama
• https://huggingface.co/01 - ai/Yi - 34B - 200K