Pasta Lake 7b

🚀 Pasta-Lake-7b

Pasta-Lake-7b是一個經過模型融合得到的文本生成模型，結合了多個基礎模型的優勢。該模型在多個文本生成相關的數據集上進行了評估，展現出了較好的性能。

🚀 快速開始

目前文檔未提供快速開始的相關內容，若有需要可進一步補充。

✨ 主要特性

• 基於mergekit進行模型融合，結合了多個基礎模型的特點。
• 提供了多種量化版本，如exl2和GGUF量化，方便不同場景使用。
• 在多個文本生成數據集上有較好的表現，涵蓋推理、常識判斷、知識問答等多個領域。

📦 安裝指南

目前文檔未提供安裝步驟相關內容，若有需要可進一步補充。

💻 使用示例

目前文檔未提供代碼示例，若有需要可進一步補充。

📚 詳細文檔

合併的模型

以下模型被用於此次融合：

• Test157t/Pasta-PrimaMaid-7b
• macadeliccc/WestLake-7B-v2-laser-truthy-dpo

配置信息

以下是用於生成此模型的YAML配置：

slices:
  - sources:
      - model: Test157t/Pasta-PrimaMaid-7b
        layer_range: [0, 32]
      - model: macadeliccc/WestLake-7B-v2-laser-truthy-dpo
        layer_range: [0, 32]
merge_method: slerp
base_model: Test157t/Pasta-PrimaMaid-7b
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: float16

評估結果

Open LLM Leaderboard評估結果 詳細結果可查看此處

致謝

感謝以下貢獻者提供的量化版本：

• @Kooten 提供的exl2量化版本：https://huggingface.co/models?search=Kooten/Pasta-Lake-7b-exl2
• @bartowski 提供的額外exl2量化版本：https://huggingface.co/bartowski/Pasta-Lake-7b-exl2/tree/main
• @konz00 提供的gguf量化版本：https://huggingface.co/konz00/Pasta-Lake-7b-GGUF
• @Lewdiculus 提供的其他GGUF量化版本：https://huggingface.co/Lewdiculous/Pasta-Lake-7b-GGUF

此外，還添加了ST預設文件。

🔧 技術細節

目前文檔未提供技術實現細節相關內容，若有需要可進一步補充。

📄 許可證

此項目使用其他許可證，具體細節可進一步查看相關文件。