Pandora 13B V1

🚀 Pandora-v1-13B 模型介紹

本項目提供了一個用於評估的模型文件，該模型基於特定的合併方法整合了優秀的7B模型，具備良好的性能和兼容性。同時，藉助Jan工具，用戶可以方便地在不同操作系統上運行該模型。

🚀 快速開始

本模型僅用於評估，請使用以下模型：

• 模型：Pandora-v1-13B
• GGUF：Pandora-v1-13B-GGUF

您可以在Mac、Windows或Linux系統上使用 Jan 運行此模型。

• 在Jan上使用時，請使用 Pandora-v1-13B-GGUF。

Jan - Discord

✨ 主要特性

• 隱私安全：💻 100% 在本地運行，對話內容僅您可見，保障隱私。
• 開放格式：🗂️ 採用開放文件格式，對話和模型設置可隨時導出或刪除。
• 兼容性強：🌐 與OpenAI兼容，本地服務器端口 1337 提供OpenAI兼容端點。
• 開源免費：🌍 開源且免費，項目公開透明，可查看 Github。

📚 詳細文檔

模型描述

該模型使用 passthrough 合併方法，整合了 OpenLLM Leaderboard 上的優秀7B模型：

1. viethq188/LeoScorpius-7B-Chat-DPO
2. GreenNode/GreenNodeLM-7B-v1olet

模型的yaml配置文件如下：

slices:
  - sources:
    - model: "viethq188/LeoScorpius-7B-Chat-DPO"
      layer_range: [0, 24]
  - sources:
    - model: "GreenNode/GreenNodeLM-7B-v1olet"
      layer_range: [8, 32]
merge_method: passthrough
dtype: bfloat16

提示詞模板

• ChatML

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

關於Jan

Jan致力於構建開源AI生態系統，為開源AI提供基礎設施和工具，使其能與專有AI公平競爭。其長期願景是為未來機器人構建認知框架，使其成為人類和企業日常生活中的實用助手。

Jan模型合併器

這是一個用於模型合併的測試項目。

開放大語言模型排行榜評估結果

詳細結果可查看相關鏈接。

📄 許可證

本項目採用Apache-2.0許可證。

致謝

• mergekit
• DARE
• SLERP
• lm-evaluation-harness