Pasta Lake 7b

🚀 Pasta-Lake-7b

Pasta-Lake-7b是一个经过模型融合得到的文本生成模型，结合了多个基础模型的优势。该模型在多个文本生成相关的数据集上进行了评估，展现出了较好的性能。

🚀 快速开始

目前文档未提供快速开始的相关内容，若有需要可进一步补充。

✨ 主要特性

• 基于mergekit进行模型融合，结合了多个基础模型的特点。
• 提供了多种量化版本，如exl2和GGUF量化，方便不同场景使用。
• 在多个文本生成数据集上有较好的表现，涵盖推理、常识判断、知识问答等多个领域。

📦 安装指南

目前文档未提供安装步骤相关内容，若有需要可进一步补充。

💻 使用示例

目前文档未提供代码示例，若有需要可进一步补充。

📚 详细文档

合并的模型

以下模型被用于此次融合：

• Test157t/Pasta-PrimaMaid-7b
• macadeliccc/WestLake-7B-v2-laser-truthy-dpo

配置信息

以下是用于生成此模型的YAML配置：

slices:
  - sources:
      - model: Test157t/Pasta-PrimaMaid-7b
        layer_range: [0, 32]
      - model: macadeliccc/WestLake-7B-v2-laser-truthy-dpo
        layer_range: [0, 32]
merge_method: slerp
base_model: Test157t/Pasta-PrimaMaid-7b
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: float16

评估结果

Open LLM Leaderboard评估结果 详细结果可查看此处

致谢

感谢以下贡献者提供的量化版本：

• @Kooten 提供的exl2量化版本：https://huggingface.co/models?search=Kooten/Pasta-Lake-7b-exl2
• @bartowski 提供的额外exl2量化版本：https://huggingface.co/bartowski/Pasta-Lake-7b-exl2/tree/main
• @konz00 提供的gguf量化版本：https://huggingface.co/konz00/Pasta-Lake-7b-GGUF
• @Lewdiculus 提供的其他GGUF量化版本：https://huggingface.co/Lewdiculous/Pasta-Lake-7b-GGUF

此外，还添加了ST预设文件。

🔧 技术细节

目前文档未提供技术实现细节相关内容，若有需要可进一步补充。

📄 许可证

此项目使用其他许可证，具体细节可进一步查看相关文件。