SOLAR 10.7B Instruct V1.0

🚀 10.7B Solar模型：借助Upstage深度扩展提升性能！

这是一款先进的大语言模型，在自然语言处理任务中表现卓越，参数规模虽小但能力强大，是微调的理想选择。

🚀 快速开始

版本

确保你安装了正确版本的transformers库：

pip install transformers==4.35.2

加载模型

使用以下Python代码加载模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Upstage/SOLAR-10.7B-Instruct-v1.0")
model = AutoModelForCausalLM.from_pretrained(
    "Upstage/SOLAR-10.7B-Instruct-v1.0",
    device_map="auto",
    torch_dtype=torch.float16,
)

进行单轮对话

conversation = [ {'role': 'user', 'content': 'Hello?'} ] 

prompt = tokenizer.apply_chat_template(conversation, tokenize=False, add_generation_prompt=True)

inputs = tokenizer(prompt, return_tensors="pt").to(model.device) 
outputs = model.generate(**inputs, use_cache=True, max_length=4096)
output_text = tokenizer.decode(outputs[0]) 
print(output_text)

以下是输出示例：

<s> ### User:
Hello?

### Assistant:
Hello, how can I assist you today? Please feel free to ask any questions or request help with a specific task.</s>

✨ 主要特性

• 性能卓越：SOLAR - 10.7B是一款拥有107亿参数的先进大语言模型（LLM），在各种自然语言处理（NLP）任务中表现出色。在参数少于30B的模型中，展现出了无与伦比的先进性能，甚至超越了参数高达30B的模型，包括近期的Mixtral 8X7B模型。
• 微调理想之选：SOLAR - 10.7B为微调提供了强大的鲁棒性和适应性。使用SOLAR - 10.7B预训练模型进行简单的指令微调，就能显著提升性能。
• 数据纯净：模型训练过程中尽力排除了所有与基准测试相关的数据集，并通过了数据污染测试，结果表明模型未受污染。

📦 安装指南

确保安装正确版本的transformers库：

pip install transformers==4.35.2

💻 使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Upstage/SOLAR-10.7B-Instruct-v1.0")
model = AutoModelForCausalLM.from_pretrained(
    "Upstage/SOLAR-10.7B-Instruct-v1.0",
    device_map="auto",
    torch_dtype=torch.float16,
)

conversation = [ {'role': 'user', 'content': 'Hello?'} ] 

prompt = tokenizer.apply_chat_template(conversation, tokenize=False, add_generation_prompt=True)

inputs = tokenizer(prompt, return_tensors="pt").to(model.device) 
outputs = model.generate(**inputs, use_cache=True, max_length=4096)
output_text = tokenizer.decode(outputs[0]) 
print(output_text)

📚 详细文档

指令微调策略

采用了包括监督微调（SFT）和直接偏好优化（DPO）在内的先进指令微调方法。使用了以下数据集的混合：

• c - s - ale/alpaca - gpt4 - data (SFT)
• Open - Orca/OpenOrca (SFT)
• 利用Metamath生成的内部数据 (SFT, DPO)
• Intel/orca_dpo_pairs (DPO)
• allenai/ultrafeedback_binarized_cleaned (DPO)

为避免数据污染，在生成数据时不使用GSM8K样本，并通过以下列表过滤任务：

filtering_task_list = [
    'task228_arc_answer_generation_easy',
    'ai2_arc/ARC-Challenge:1.0.0',
    'ai2_arc/ARC-Easy:1.0.0',
    'task229_arc_answer_generation_hard',
    'hellaswag:1.1.0', 
    'task1389_hellaswag_completion',
    'cot_gsm8k',
    'cot_gsm8k_ii',
    'drop:2.0.0',
    'winogrande:1.1.0'
]

使用上述数据集，应用SFT和迭代DPO训练，这是一种专有的对齐策略，以最大化模型性能。

数据污染测试结果

近期，大语言模型排行榜上的一些模型存在数据污染问题。本模型在训练中尽力排除了所有与基准测试相关的数据集，并进行了数据污染测试（测试方法同HuggingFace团队使用的方法）。结果显示，各项指标均远低于0.9（result < 0.1, %），表明模型未受污染。

评估结果

🔧 技术细节

提出了一种名为深度扩展（DUS）的大语言模型扩展方法，包括架构修改和持续预训练。具体来说，将Mistral 7B的权重集成到扩展层中，最后对整个模型进行持续预训练。

📄 许可证

• [upstage/SOLAR - 10.7B - v1.0](https://huggingface.co/upstage/SOLAR - 10.7B - v1.0)：apache - 2.0
• [upstage/SOLAR - 10.7B - Instruct - v1.0](https://huggingface.co/upstage/SOLAR - 10.7B - Instruct - v1.0)：cc - by - nc - 4.0。由于微调使用了一些非商业数据集（如Alpaca），因此该模型以cc - by - nc - 4.0许可证发布。

引用方式

使用该模型时，请使用以下格式引用相关论文：

@misc{kim2023solar,
      title={SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling}, 
      author={Dahyun Kim and Chanjun Park and Sanghoon Kim and Wonsung Lee and Wonho Song and Yunsu Kim and Hyeonwoo Kim and Yungi Kim and Hyeonju Lee and Jihoo Kim and Changbae Ahn and Seonghoon Yang and Sukyung Lee and Hyunbyung Park and Gyoungjin Gim and Mikyoung Cha and Hwalsuk Lee and Sunghun Kim},
      year={2023},
      eprint={2312.15166},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{kim2024sdpo,
      title={sDPO: Don't Use Your Data All at Once}, 
      author={Dahyun Kim and Yungi Kim and Wonho Song and Hyeonwoo Kim and Yunsu Kim and Sanghoon Kim and Chanjun Park},
      year={2024},
      eprint={2403.19270},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Upstage AI团队

Upstage正在打造最优秀的大语言模型和文档AI。更多信息请访问：https://upstage.ai

联系我们

如有任何问题或建议，请使用讨论区。若想直接联系我们，请发送邮件至 contact@upstage.ai 。