Loyal Toppy Bruins Maid 7B DARE GGUF Imatrix

🚀 [SanjiWatsuki/Loyal-Toppy-Bruins-Maid-7B-DAREのGGUF-Imatrix量子化]

このプロジェクトは、SanjiWatsuki/Loyal-Toppy-Bruins-Maid-7B-DARE モデルのGGUF-Imatrix量子化を提供します。Imatrix技術を用いることで、量子化モデルの性能を向上させることができます。

🚀 クイックスタート

この量子化モデルを使用するには、llama.cpp-b2280 を利用します。

✨ 主な機能

• Imatrix技術：Importance Matrix（重要度行列）を用いて、量子化中のモデル性能の損失を最小限に抑えます。
• 新しい量子化オプション：IQ3_S量子化オプションは、古いQ3_K_Sよりも性能が良いことが示されています。ただし、koboldcpp-1.59.1 以上でのみサポートされています。

📚 ドキュメント

What does "Imatrix" mean?

「Imatrix」は Importance Matrix の略で、量子化モデルの品質を向上させるために使用される技術です。

Imatrix はキャリブレーションデータに基づいて計算され、量子化プロセス中の異なるモデルアクティベーションの重要度を判断するのに役立ちます。量子化中に最も重要な情報を保持することで、モデル性能の損失を減らすことができます。

Imatrixを使用する利点の1つは、キャリブレーションデータが多様な場合に、より良いモデル性能をもたらすことができることです。

詳細情報: [1] [2]

--imatrixデータには、imatrix-Loyal-Toppy-Bruins-Maid-7B-DARE-F16.dat が使用されました。

Base⇢ GGUF(F16)⇢ Imatrix-Data(F16)⇢ GGUF(Imatrix-Quants)

Original model information:

Description

このリポジトリには、Loyal-Toppy-Bruins-Maid-7B のFP16ファイルが保存されています。これは7Bモデルで、魅力的なロールプレイング（RP）を行い、キャラクターカードに忠実で、同時に賢い応答をすることを目的としています。

その基礎となるモデルは Starling-LM-7B-alpha で、LMSYS Chatbot Arenaでの性能が注目され、GPT-3.5-Turbo-1106を上回ることもあります。このモデルには、rwitz/go-bruins-v2 が組み込まれており、これは Q-bert/MetaMath-Cybertron-Starling をベースに、Alpaca RPデータで調整されたモデルです。

もう1つの基礎モデルは chargoddard/loyal-piano-m7 で、強力なRP性能とAlpaca形式のトレーニングが行われており、PIPPA、rpbuild、LimaRPなどの多様なデータセットが使用されています。

Undi95/Toppy-M-7B は、創造性に富んでおり、様々なソースから有用なRPデータを持ち込んでいます。OpenRouter で7Bモデルの中で1位を占めるのは、そのためです。

NeverSleep/Noromaid-7b-v0.1.1 は、他のモデルにはない独自のRPデータを持つMistralファインチューニングモデルで、独自のRPデータセットを持ち込み、評判の良いRPモデルです。

これらのモデルは、DARE tiesメソッドを用いてマージされました。目標とする絶対重みは1.2、高密度（0.5 - 0.6）で、MergeKit GitHub Repo で議論されている通りです。

現在、このモデルは私の個人のRPユニットテストベンチマークでトップにランクインしており、lilblam's LLM Logic Test でも非常に高い20点を獲得しています。RPでの最初の印象は非常に良いですが、このモデルは今日新しくできたものなので、まだ十分に試していません 😊

The sauce

models: # Top-Loyal-Bruins-Maid-DARE-7B_v2
  - model: mistralai/Mistral-7B-v0.1
    # no parameters necessary for base model
  - model: rwitz/go-bruins-v2 # MetamathCybertronStarling base
    parameters:
      weight: 0.5
      density: 0.6
  - model: chargoddard/loyal-piano-m7 # Pull in some PIPPA/LimaRP/Orca/rpguild
    parameters:
      weight: 0.5
      density: 0.6
  - model: Undi95/Toppy-M-7B
    parameters:
      weight: 0.1
      density: 0.5
  - model: NeverSleep/Noromaid-7b-v0.1.1
    parameters:
      weight: 0.1
      density: 0.5
merge_method: dare_ties
base_model: mistralai/Mistral-7B-v0.1
parameters:
  normalize: false
  int8_mask: true
dtype: bfloat16

Prompt template: Custom format, or Alpaca

Custom format:

私は、Noromaidテンプレートを使用することで、SillyTavernで最良の結果を得られることを見つけました。

SillyTavern設定ファイル: Context, Instruct。

それ以外にも、すべてのマージされたモデルがAlpacaに適した形式になるようにしました。

Alpaca:

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:

📄 ライセンス

このプロジェクトは、cc-by-nc-4.0ライセンスの下で提供されています。

すべてのクレジットは creator に帰属します。

特定の量子化を追加して欲しい場合は、自由にお問い合わせください。