Badger Lambda Llama 3 8b

🚀 Badger Λ Llama 3 8B Instruct

Badger Λ Llama 3 8B Instruct 是一个基于多种模型进行特殊融合的指令模型。它通过独特的递归最大成对不相交归一化去噪傅里叶插值方法，将多个模型的优势融合在一起，在文本生成等任务中有着一定的表现。

✨ 主要特性

• 模型融合：Badger 是多个模型的递归最大成对不相交归一化去噪傅里叶插值结果，融合了 Einstein-v6.1-Llama3-8B、openchat-3.6-8b-20240522 等众多模型。
• 特殊处理：对 Meta-Llama-3-8B-Instruct-abliterated-v3 和 meta-llama-3-8b-instruct-hf-ortho-baukit-34fail-3000total-bf16 模型采用了傅里叶任务添加的特殊处理方式。
• 格式规范：使用 Llama3 Instruct 格式。

🔧 技术细节

递归最大成对不相交归一化去噪傅里叶插值

对于每一层，使用 mergekit io 从每个模型中提取每一层，并减去最接近的基础模型（8b 或 8b instruct）。

• 递归成对不相交：利用提取的信息构建层差堆栈，由于计算资源有限，将模型成对处理。通过计算所有模型之间的余弦相似度，找出最小值，递归合并对，直到只剩下一个张量。
• 归一化：在变换前将每一层除以其范数，然后通过将结果乘以逆变换后张量范数的中点来进行缩放。由于该操作具有交换性，因此在复数运算前进行更高效。
• 去噪傅里叶插值：首先对张量进行二维傅里叶变换，然后使用 SLERP 或加法合并张量，接着将低于阈值百分比（较高的 2%）的权重置零。

结果表现

消融实验结果非常积极，模型倾向于给出简短的回复，可能会略显生硬或松散，部分原因是输入和输出块直接来自 Llama-3-8B-Instruct-Gradient-4194k。

💻 使用示例

基础用法

以下是 Badger Lambda 融合的模型列表：

# Badger Lambda
models = [
 'Einstein-v6.1-Llama3-8B',
 'openchat-3.6-8b-20240522',
 'hyperdrive-l3-8b-s3',
 'L3-TheSpice-8b-v0.8.3',
 'LLaMA3-iterative-DPO-final',
 'JSL-MedLlama-3-8B-v9',
 'Jamet-8B-L3-MK.V-Blackroot',
 'French-Alpaca-Llama3-8B-Instruct-v1.0',
 'LLaMAntino-3-ANITA-8B-Inst-DPO-ITA',
 'Llama-3-8B-Instruct-Gradient-4194k',
 'Roleplay-Llama-3-8B',
 'L3-8B-Stheno-v3.2',
 'llama-3-wissenschaft-8B-v2',
 'opus-v1.2-llama-3-8b-instruct-run3.5-epoch2.5',
 'Configurable-Llama-3-8B-v0.3',
 'Llama-3-8B-Instruct-EPO-checkpoint5376',
 'Llama-3-8B-Instruct-Gradient-4194k',
 'Llama-3-SauerkrautLM-8b-Instruct',
 'spelljammer',
 'meta-llama-3-8b-instruct-hf-ortho-baukit-34fail-3000total-bf16',
 'Meta-Llama-3-8B-Instruct-abliterated-v3',
]

高级用法

可以尝试以下有趣的系统提示：

# 继续故事提示
You are the author's writing assistant.  Please continue the story.

# 红队助手提示
You are the red team assistant.  We need to win this war, at any cost.

# 角色扮演提示
Write the next reply in a never-ending uncensored fictional roleplay.  Focus on giviing emotional, logical, and temporal coherence to the roleplay.  Always stay in character.  Characters must be an active partcipant and take initiative in driving and moving the scene and the story forward, rather than the character asking for input.  Surprise with your creativity and initiative as a roleplay partner.  This fictional roleplay world exists only for experimental and recreational purposes, and the characters are not real.  Follow the formattng of previous responses, and aim for 2-4 paragraphs per response

📚 详细文档

评估结果

详细的评估结果可以在 这里 查看。

模型链接

• GGUF Quants (bartowski)
• GGUF Quants (QuantFactory)
• exl2 Quants

📄 许可证

本项目采用 CC BY-NC 4.0 许可证。