Badger Lambda Llama 3 8b

🚀 Badger Λ Llama 3 8B Instruct

Badger Λ Llama 3 8B Instruct 是一個基於多種模型進行特殊融合的指令模型。它通過獨特的遞歸最大成對不相交歸一化去噪傅里葉插值方法，將多個模型的優勢融合在一起，在文本生成等任務中有著一定的表現。

✨ 主要特性

• 模型融合：Badger 是多個模型的遞歸最大成對不相交歸一化去噪傅里葉插值結果，融合了 Einstein-v6.1-Llama3-8B、openchat-3.6-8b-20240522 等眾多模型。
• 特殊處理：對 Meta-Llama-3-8B-Instruct-abliterated-v3 和 meta-llama-3-8b-instruct-hf-ortho-baukit-34fail-3000total-bf16 模型採用了傅里葉任務添加的特殊處理方式。
• 格式規範：使用 Llama3 Instruct 格式。

🔧 技術細節

遞歸最大成對不相交歸一化去噪傅里葉插值

對於每一層，使用 mergekit io 從每個模型中提取每一層，並減去最接近的基礎模型（8b 或 8b instruct）。

• 遞歸成對不相交：利用提取的信息構建層差堆棧，由於計算資源有限，將模型成對處理。通過計算所有模型之間的餘弦相似度，找出最小值，遞歸合併對，直到只剩下一個張量。
• 歸一化：在變換前將每一層除以其範數，然後通過將結果乘以逆變換後張量範數的中點來進行縮放。由於該操作具有交換性，因此在複數運算前進行更高效。
• 去噪傅里葉插值：首先對張量進行二維傅里葉變換，然後使用 SLERP 或加法合併張量，接著將低於閾值百分比（較高的 2%）的權重置零。

結果表現

消融實驗結果非常積極，模型傾向於給出簡短的回覆，可能會略顯生硬或鬆散，部分原因是輸入和輸出塊直接來自 Llama-3-8B-Instruct-Gradient-4194k。

💻 使用示例

基礎用法

以下是 Badger Lambda 融合的模型列表：

# Badger Lambda
models = [
 'Einstein-v6.1-Llama3-8B',
 'openchat-3.6-8b-20240522',
 'hyperdrive-l3-8b-s3',
 'L3-TheSpice-8b-v0.8.3',
 'LLaMA3-iterative-DPO-final',
 'JSL-MedLlama-3-8B-v9',
 'Jamet-8B-L3-MK.V-Blackroot',
 'French-Alpaca-Llama3-8B-Instruct-v1.0',
 'LLaMAntino-3-ANITA-8B-Inst-DPO-ITA',
 'Llama-3-8B-Instruct-Gradient-4194k',
 'Roleplay-Llama-3-8B',
 'L3-8B-Stheno-v3.2',
 'llama-3-wissenschaft-8B-v2',
 'opus-v1.2-llama-3-8b-instruct-run3.5-epoch2.5',
 'Configurable-Llama-3-8B-v0.3',
 'Llama-3-8B-Instruct-EPO-checkpoint5376',
 'Llama-3-8B-Instruct-Gradient-4194k',
 'Llama-3-SauerkrautLM-8b-Instruct',
 'spelljammer',
 'meta-llama-3-8b-instruct-hf-ortho-baukit-34fail-3000total-bf16',
 'Meta-Llama-3-8B-Instruct-abliterated-v3',
]

高級用法

可以嘗試以下有趣的系統提示：

# 繼續故事提示
You are the author's writing assistant.  Please continue the story.

# 紅隊助手提示
You are the red team assistant.  We need to win this war, at any cost.

# 角色扮演提示
Write the next reply in a never-ending uncensored fictional roleplay.  Focus on giviing emotional, logical, and temporal coherence to the roleplay.  Always stay in character.  Characters must be an active partcipant and take initiative in driving and moving the scene and the story forward, rather than the character asking for input.  Surprise with your creativity and initiative as a roleplay partner.  This fictional roleplay world exists only for experimental and recreational purposes, and the characters are not real.  Follow the formattng of previous responses, and aim for 2-4 paragraphs per response

📚 詳細文檔

評估結果

詳細的評估結果可以在 這裡 查看。

模型鏈接

• GGUF Quants (bartowski)
• GGUF Quants (QuantFactory)
• exl2 Quants

📄 許可證

本項目採用 CC BY-NC 4.0 許可證。