Sonya 7B

🚀 Sonya-7B模型

Sonya-7B是一款表现出色的模型，在MT-Bench首回合表现中排名第一，总体排名第二。它适用于包括助手、角色扮演等在内的各种任务。

🚀 快速开始

Sonya-7B在MT-Bench评测中表现优异，首回合排名领先GPT-4，总体排名第二。它由多个模型合并而成，在实际应用中具有一定的优势，但也存在一些局限性。基于其父模型，建议使用8192上下文窗口，可尝试使用NTK缩放alpha为2.6来测试16384上下文。

✨ 主要特性

• 高性能：在MT-Bench评测中表现出色，首回合排名第一，总体排名第二。
• 多用途：适用于包括助手、角色扮演等在内的各种任务。
• 上下文窗口：建议使用8192上下文窗口，可尝试16384上下文。

📦 安装指南

文档未提及安装步骤，故跳过该章节。

💻 使用示例

基础用法

文档未提供基础用法的代码示例，故跳过该部分。

高级用法

文档未提供高级用法的代码示例，故跳过该部分。

📚 详细文档

模型介绍

Sonya-7B与之前的Silicon-Maid-7B结构相似，是由以下模型合并而成：

• xDAN-AI/xDAN-L1-Chat-RL-v1
• Jan-Ai's Stealth v1.2
• chargoddard/piano-medley-7b
• NeverSleep/Noromaid-7B-v0.2
• athirdpath/NSFW_DPO_vmgb-7b

选择这些模型的原因如下：

• MT-Bench通常与真实世界的模型质量有很好的相关性，xDAN在该评测中表现出色。
• 混合模型中几乎所有模型都采用Alpaca提示格式，保证了提示的一致性。
• Stealth v1.2似乎能提高MT-Bench得分。
• 添加角色扮演模型可以提升写作和角色扮演基准测试的表现。

模型合并细节

models:
  - model: xDAN-AI/xDAN-L1-Chat-RL-v1
    parameters:
      weight: 1
      density: 1
  - model: chargoddard/piano-medley-7b
    parameters:
      weight: 0.3
  - model: jan-hq/stealth-v1.2
    parameters:
      weight: 0.2
  - model: NeverSleep/Noromaid-7b-v0.2
    parameters:
      weight: 0.2
  - model: athirdpath/NSFW_DPO_vmgb-7b
    parameters:
      weight: 0.2
merge_method: ties
base_model: mistralai/Mistral-7B-v0.1
parameters:
  density: 0.4
  int8_mask: true
  normalize: true
dtype: bfloat16

此合并过程没有进行额外的训练、微调或DPO。

提示模板

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{prompt}

### Response:

使用xDAN提示格式时，该模型表现较差，因此不建议使用。

基准测试结果

MT-Bench平均回合得分

首回合得分

第二回合得分

若要复现MT-Bench评测，请确保对模型应用Alpaca提示模板。

🔧 技术细节

文档未提供详细的技术实现细节，故跳过该章节。

📄 许可证

本模型采用CC BY 4.0许可证。