SOLAR 0 70b 16bit

🚀 SOLAR-0-70b-16bit模型

Solar是由Upstage創建的新聊天機器人，現已在Poe上推出。作為HuggingFace開源大語言模型排行榜上的頂級模型，同時也是Llama 2的微調版本，Solar充分展現了開源技術帶來的進步。 立即前往此處體驗。

🚀 快速開始

本模型名稱已從LLaMa - 2 - 70b - instruct - v2更改為SOLAR-0-70b-16bit。

✨ 主要特性

• 基於強大的LLaMA - 2骨幹模型進行微調。
• 支持處理長達10k +的輸入令牌。
• 在多個基準測試數據集上表現出色。

📚 詳細文檔

🔍 模型詳情

📊 數據集詳情

使用的數據集

• Orca風格數據集
• Alpaca風格數據集
• 除上述數據集外，未使用其他數據集
• 未使用基準測試集或訓練集

提示模板

### System:
{System}

### User:
{User}

### Assistant:
{Assistant}

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("upstage/Llama-2-70b-instruct-v2")
model = AutoModelForCausalLM.from_pretrained(
    "upstage/Llama-2-70b-instruct-v2",
    device_map="auto",
    torch_dtype=torch.float16,
    load_in_8bit=True,
    rope_scaling={"type": "dynamic", "factor": 2} # allows handling of longer inputs
)

prompt = "### User:\nThomas is healthy, but he has to go to the hospital. What could be the reasons?\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
del inputs["token_type_ids"]
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

output = model.generate(**inputs, streamer=streamer, use_cache=True, max_new_tokens=float('inf'))
output_text = tokenizer.decode(output[0], skip_special_tokens=True)

🔧 技術細節

硬件和軟件

• 硬件：訓練模型使用了A100x8 * 4。
• 訓練因素：使用DeepSpeed庫和HuggingFace Trainer / HuggingFace Accelerate的組合對模型進行微調。

評估結果

概述

• 按照Open LLM Leaderboard上的評估任務對模型進行性能評估。
• 在四個基準數據集上評估模型，包括ARC - Challenge、HellaSwag、MMLU和TruthfulQA。
• 使用[lm - evaluation - harness倉庫](https://github.com/EleutherAI/lm - evaluation - harness)，具體為提交版本[b281b0921b636bc36ad05c0b0b0763bd6dd43463](https://github.com/EleutherAI/lm - evaluation - harness/tree/b281b0921b636bc36ad05c0b0b0763bd6dd43463)。
• 使用[MT - bench](https://github.com/lm - sys/FastChat/tree/main/fastchat/llm_judge)（一組具有挑戰性的多輪開放式問題）對模型進行評估。

主要結果

H4分數復現腳本

• 準備評估環境：

# clone the repository
git clone https://github.com/EleutherAI/lm-evaluation-harness.git
# check out the specific commit
git checkout b281b0921b636bc36ad05c0b0b0763bd6dd43463
# change to the repository directory
cd lm-evaluation-harness

📄 許可證

微調後的檢查點遵循非商業知識共享許可協議 ([CC BY - NC - 4.0](https://creativecommons.org/licenses/by - nc/4.0/))。

📞 聯繫我們

關於Upstage

• Upstage是一家專注於大語言模型（LLMs）和人工智能的公司。我們將幫助您構建私有大語言模型及相關應用。
• 如果您有用於構建特定領域大語言模型的數據集或有開發大語言模型應用的需求，請點擊此處聯繫我們。
• 截至8月1日，我們的70B模型在openLLM排名中位居榜首，成為目前全球領先的模型。