SOLAR 0 70b 16bit

🚀 SOLAR-0-70b-16bit模型

Solar是由Upstage创建的新聊天机器人，现已在Poe上推出。作为HuggingFace开源大语言模型排行榜上的顶级模型，同时也是Llama 2的微调版本，Solar充分展现了开源技术带来的进步。 立即前往此处体验。

🚀 快速开始

本模型名称已从LLaMa - 2 - 70b - instruct - v2更改为SOLAR-0-70b-16bit。

✨ 主要特性

• 基于强大的LLaMA - 2骨干模型进行微调。
• 支持处理长达10k +的输入令牌。
• 在多个基准测试数据集上表现出色。

📚 详细文档

🔍 模型详情

📊 数据集详情

使用的数据集

• Orca风格数据集
• Alpaca风格数据集
• 除上述数据集外，未使用其他数据集
• 未使用基准测试集或训练集

提示模板

### System:
{System}

### User:
{User}

### Assistant:
{Assistant}

💻 使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("upstage/Llama-2-70b-instruct-v2")
model = AutoModelForCausalLM.from_pretrained(
    "upstage/Llama-2-70b-instruct-v2",
    device_map="auto",
    torch_dtype=torch.float16,
    load_in_8bit=True,
    rope_scaling={"type": "dynamic", "factor": 2} # allows handling of longer inputs
)

prompt = "### User:\nThomas is healthy, but he has to go to the hospital. What could be the reasons?\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
del inputs["token_type_ids"]
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

output = model.generate(**inputs, streamer=streamer, use_cache=True, max_new_tokens=float('inf'))
output_text = tokenizer.decode(output[0], skip_special_tokens=True)

🔧 技术细节

硬件和软件

• 硬件：训练模型使用了A100x8 * 4。
• 训练因素：使用DeepSpeed库和HuggingFace Trainer / HuggingFace Accelerate的组合对模型进行微调。

评估结果

概述

• 按照Open LLM Leaderboard上的评估任务对模型进行性能评估。
• 在四个基准数据集上评估模型，包括ARC - Challenge、HellaSwag、MMLU和TruthfulQA。
• 使用[lm - evaluation - harness仓库](https://github.com/EleutherAI/lm - evaluation - harness)，具体为提交版本[b281b0921b636bc36ad05c0b0b0763bd6dd43463](https://github.com/EleutherAI/lm - evaluation - harness/tree/b281b0921b636bc36ad05c0b0b0763bd6dd43463)。
• 使用[MT - bench](https://github.com/lm - sys/FastChat/tree/main/fastchat/llm_judge)（一组具有挑战性的多轮开放式问题）对模型进行评估。

主要结果

H4分数复现脚本

• 准备评估环境：

# clone the repository
git clone https://github.com/EleutherAI/lm-evaluation-harness.git
# check out the specific commit
git checkout b281b0921b636bc36ad05c0b0b0763bd6dd43463
# change to the repository directory
cd lm-evaluation-harness

📄 许可证

微调后的检查点遵循非商业知识共享许可协议 ([CC BY - NC - 4.0](https://creativecommons.org/licenses/by - nc/4.0/))。

📞 联系我们

关于Upstage

• Upstage是一家专注于大语言模型（LLMs）和人工智能的公司。我们将帮助您构建私有大语言模型及相关应用。
• 如果您有用于构建特定领域大语言模型的数据集或有开发大语言模型应用的需求，请点击此处联系我们。
• 截至8月1日，我们的70B模型在openLLM排名中位居榜首，成为目前全球领先的模型。