Capytessborosyi 34B 200K DARE Ties

🚀 CaPlatTessDolXaBoros-Yi-34B-200K-DARE-Ties-HighDensity模型介紹

本項目將多個模型進行合併，利用全新的實驗性“dare ties”實現方式，通過mergekit工具完成合並。該項目已過時，最新內容請查看：https://huggingface.co/brucethemoose/CaPlatTessDolXaBoros-Yi-34B-200K-DARE-Ties-HighDensity

✨ 主要特性

• 多模型合併：將 NousResearch/Nous-Capybara-34B、migtissera/Tess-M-v1.3 和 bhenrym14/airoboros-3_1-yi-34b-200k 三個模型進行合併。
• 創新合併方法：採用新的“dare ties”實現方式，測試顯示其困惑度優於常規的合併方式。
• 高上下文支持：支持200K的上下文長度。

📦 安裝指南

文檔未提供具體安裝步驟，故跳過此章節。

💻 使用示例

基礎用法

SYSTEM: {system_message}
USER: {prompt}
ASSISTANT:

📚 詳細文檔

模型合併說明

本模型通過mergekit工具，使用以下配置進行合併，並採用了chargoddard的Yi-Llama的分詞器：

models:
  - model: /home/alpha/Storage/Models/Raw/chargoddard_Yi-34B-200K-Llama
    # no parameters necessary for base model
  - model: /home/alpha/Storage/Models/Raw/migtissera_Tess-M-v1.3
    parameters:
      weight: 0.41
      density: 0.50
  - model: /home/alpha//Storage/Models/Raw/bhenrym14_airoboros-3_1-yi-34b-200k
    parameters:
      weight: 0.18
      density: 0.46
  - model: /home/alpha/Storage/Models/Raw/Nous-Capybara-34B
    parameters:
      weight: 0.41
      density: 0.50
merge_method: dare_ties
base_model: /home/alpha/Storage/Models/Raw/chargoddard_Yi-34B-200K-Llama
parameters:
int8_mask: true
dtype: bfloat16

提示模板

本模型使用Orca-Vicuna提示模板：

SYSTEM: {system_message}
USER: {prompt}
ASSISTANT:

使用建議

• 由於本模型基於Yi模型，若輸出結果不理想，可嘗試禁用BOS令牌和/或使用較低的溫度參數（MinP），且不使用其他採樣器。
• 有時模型會像Capybara一樣將停止標記“拼寫”為 </s>，因此可能需要將 </s> 添加為額外的停止條件。
• 模型也可能對llama-2聊天格式做出響應。

GPU運行說明

24GB的GPU可以使用exllamav2在 45K - 75K上下文 下運行Yi-34B-200K模型。更多詳細信息可查看此 帖子，同時推薦使用針對類似任務數據的exl2量化模型，例如針對故事寫作的 4.0bpw / 3.1bpw。

🔧 技術細節

“dare ties”方法在相同的合併配置下，測試顯示其困惑度優於常規的合併方式。模型權重總和為1似乎也是最優的。與之前使用Tess 1.2的dare合併相比，高上下文結果似乎更好。

📄 許可證

本項目採用 yi-license 許可證。

參考鏈接

• Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch
• mergekit
• NousResearch/Nous-Capybara-34B
• bhenrym14/airoboros-3_1-yi-34b-200k
• migtissera/Tess-M-v1.3
• chargoddard/Yi-34B-200K-Llama
• 01-ai/Yi-34B-200K