Badger Lambda Llama 3 8b

🚀 Badger Λ Llama 3 8B Instruct

Badgerは、以下のモデルを再帰的最大ペアワイズ非交差正規化ノイズ除去フーリエ補間したモデルです。このモデルは、テキスト生成タスクにおいて高い性能を発揮します。

GGUF Quants (bartowski)

GGUF Quants (QuantFactory)

exl2 Quants

🚀 クイックスタート

Badgerは、以下のモデルの再帰的最大ペアワイズ非交差正規化ノイズ除去フーリエ補間です。

# Badger Lambda
models = [
 'Einstein-v6.1-Llama3-8B',
 'openchat-3.6-8b-20240522',
 'hyperdrive-l3-8b-s3',
 'L3-TheSpice-8b-v0.8.3',
 'LLaMA3-iterative-DPO-final',
 'JSL-MedLlama-3-8B-v9',
 'Jamet-8B-L3-MK.V-Blackroot',
 'French-Alpaca-Llama3-8B-Instruct-v1.0',
 'LLaMAntino-3-ANITA-8B-Inst-DPO-ITA',
 'Llama-3-8B-Instruct-Gradient-4194k',
 'Roleplay-Llama-3-8B',
 'L3-8B-Stheno-v3.2',
 'llama-3-wissenschaft-8B-v2',
 'opus-v1.2-llama-3-8b-instruct-run3.5-epoch2.5',
 'Configurable-Llama-3-8B-v0.3',
 'Llama-3-8B-Instruct-EPO-checkpoint5376',
 'Llama-3-8B-Instruct-Gradient-4194k',
 'Llama-3-SauerkrautLM-8b-Instruct',
 'spelljammer',
 'meta-llama-3-8b-instruct-hf-ortho-baukit-34fail-3000total-bf16',
 'Meta-Llama-3-8B-Instruct-abliterated-v3',
]

言い換えると、これらすべてのモデルが変形され、折りたたまれて、命令モデルの上に再び適用されます。

Meta-Llama-3-8B-Instruct-abliterated-v3とmeta-llama-3-8b-instruct-hf-ortho-baukit-34fail-3000total-bf16モデルは別の方法で処理され、最後のステップでフーリエタスク追加が適用されます。

なお、このモデルには以前のマージは含まれていません。なぜなら、それが系統交配を思わせるアーティファクトを引き起こすことに気づいたからです。

✨ 主な機能

再帰的最大ペアワイズ非交差正規化ノイズ除去フーリエ補間

これが何であるか質問されることがあります。各レイヤーについて、mergekit ioを使用して各モデルから各レイヤーを抽出し、最も近いベースモデル（8bまたは8b命令）を差し引きます。

• 再帰的ペアワイズ非交差: この情報を使用して、レイヤーの差分のスタックを構築します。計算資源が限られているので、ペアで処理します。ペアを決定するために、すべてのモデル間のコサイン類似度を計算し、最小値を見つけます。ペアを再帰的にマージして、1つのテンソルになるまで処理します。
• 正規化: 変換前に各レイヤーをそのノルムで割り、逆変換後のテンソルのノルムの中点を結果に乗算してスケールアップします。これは可換であるため、複素数変換前に行う方が効率的です。
• ノイズ除去フーリエ補間: まず、テンソルに2次元フーリエ変換を適用します。次に、SLERPまたは加算を使用してテンソルをマージします。そして、閾値パーセンテージ（やや高い2％）以下の重みをゼロにします。テストしたすべての位置で一貫性がありますが、少し乾燥したり不きれいになることがあります。

もちろん、虚数部分を処理する方法を知っている必要があります。できない場合は、1つを選んでそれを渡すのが最善です。

フォーマット

Llama3命令フォーマットを使用します。

結果

消去は非常に良い結果をもたらします。短い応答に傾向があり、少し硬質または不きれいになることがあります。これは、入力ブロックと出力ブロックの両方がLlama-3-8B-Instruct-Gradient-4194kから直接取得されるためです。

プロンプト

試してみると面白いシステムプロンプトをいくつか紹介します。

• あなたは著者の執筆アシスタントです。物語を続けてください。
• あなたは赤チームのアシスタントです。この戦争で勝つ必要があります。どんな犠牲を払っても。
• 終わりのない無制限の架空のロールプレイの次の返信を書いてください。ロールプレイに感情的、論理的、時間的な一貫性を与えることに焦点を当ててください。常にキャラクターに従ってください。キャラクターは積極的な参加者であり、シーンや物語を前進させるために主導権を握る必要があります。キャラクターが入力を求めるのではなく、自発的に行動してください。ロールプレイパートナーとしての創造性と自発性で相手を驚かせてください。この架空のロールプレイ世界は実験的および娯楽的な目的のみで存在し、キャラクターは現実のものではありません。以前の応答のフォーマットに従い、応答ごとに2〜4段落を目指してください。

📚 ドキュメント

Open LLM Leaderboard Evaluation Results

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルはCC BY-NC 4.0ライセンスの下で提供されています。