Mythomist 7b

🚀 MythoMist 7b

MythoMist 7bは、いつも通り、私の最新のアルゴリズムに基づいた高度に実験的なMistralベースのマージモデルです。このアルゴリズムは、ユーザーが設定した目標を追求しながら、モデルを構築する際に能動的にベンチマークを行います。

追記 (2023-11-23): より詳細な調査の結果、元のアルゴリズムに欠陥があることが判明しましたが、これはすでに解決されています。このモデルは当初の目的を完全には達成していないため、削除することも検討しましたが、多くの方がこのモデルを楽しんでいるため、残しておくことにしました。今後の開発やMerge Monsterによるマージモデルのリリースについては、私のMergeMonsterリポジトリを注視してください。

MythoMistの主な目的は、ChatGPTのロールプレイングデータとネガティブに関連付けられる「anticipation」「ministrations」などの単語の使用を減らすことです。このアルゴリズムはこれらの単語を完全に禁止することはできませんが、使用を最小限に抑えるように努めています。

このスクリプトは現在、私のGitHubで利用可能です。注意 - 大量のVRAMが必要です。

量子化モデルはTheBlokeから入手できます: GGUF - GPTQ - AWQ (あなたは最高です！)

📚 ドキュメント

最終的なマージ構成

12のモデルを処理した後、私のアルゴリズムは以下の（概算の）最終構成を得ました。

これらのモデルがマージ中にどのように分割されたかには、特に論理的な根拠はありません。各モデルから小さな断片を取り出し、他のモデルとレイヤーごとに混合しました。このパターンは私のMythoMaxレシピに似ており、基盤となるテンソルがクロス状に混合されます。

この新しいプロセスでは、モデルのレイヤーのみが決定され、モデルの出力に大きな影響を与える単一のlm_headとembed_tokensレイヤーは決定されません。そのため、別のスクリプトを実行し、最も長い応答をもたらす単一のテンソルを選択しました。その結果、Toppy-M-7Bが選ばれました。

プロンプトフォーマット

このマージモデルで使用されるプロンプトフォーマットが多様であるため、（現時点では）互換性の理由からAlpacaをプロンプトテンプレートとして使用することをおすすめします。

### Instruction:
Your instruction or question here.

### Response:

📄 ライセンス

Other