Llama 65b Instruct

🚀 LLaMa-65b-instruct 模型卡片

本模型基於LLaMA架構開發，可處理長輸入序列，在多個基準測試中表現良好，適用於文本生成任務。

🚀 快速開始

本模型已在A100 80GB上進行測試，藉助rope_scaling選項，能夠處理多達10k以上的輸入令牌。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("upstage/llama-65b-instruct")
model = AutoModelForCausalLM.from_pretrained(
    "upstage/llama-65b-instruct",
    device_map="auto",
    torch_dtype=torch.float16,
    load_in_8bit=True,
    rope_scaling={"type": "dynamic", "factor": 2} # 允許處理更長的輸入
)

prompt = "### User:\nThomas is healthy, but he has to go to the hospital. What could be the reasons?\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
del inputs["token_type_ids"]
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

output = model.generate(**inputs, streamer=streamer, use_cache=True, max_new_tokens=float('inf'))
output_text = tokenizer.decode(output[0], skip_special_tokens=True)

✨ 主要特性

• 具有不同的模型參數大小和序列長度，提供多種選擇。
• 能夠處理多達10k以上的輸入令牌，適應長文本輸入。
• 在多個基準測試中表現良好，具有較高的性能。

📦 安裝指南

文檔未提及安裝步驟，暫不提供。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("upstage/llama-65b-instruct")
model = AutoModelForCausalLM.from_pretrained(
    "upstage/llama-65b-instruct",
    device_map="auto",
    torch_dtype=torch.float16,
    load_in_8bit=True,
    rope_scaling={"type": "dynamic", "factor": 2} # 允許處理更長的輸入
)

prompt = "### User:\nThomas is healthy, but he has to go to the hospital. What could be the reasons?\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
del inputs["token_type_ids"]
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

output = model.generate(**inputs, streamer=streamer, use_cache=True, max_new_tokens=float('inf'))
output_text = tokenizer.decode(output[0], skip_special_tokens=True)

📚 詳細文檔

模型詳情

數據集詳情

使用的數據集

• Orca風格數據集
• 除上述數據集外，未使用其他數據

提示模板

### System:
{System}

### User:
{User}

### Assistant:
{Assistant}

硬件和軟件

• 硬件：我們使用了A100x8 * 4來訓練我們的模型。
• 訓練因素：我們使用DeepSpeed庫和HuggingFace Trainer的組合對該模型進行了微調。

評估結果

概述

• 我們基於在Open LLM排行榜上評估的任務進行了性能評估。我們在四個基準數據集上評估了我們的模型，包括ARC-Challenge、HellaSwag、MMLU和TruthfulQA。我們使用了lm-evaluation-harness倉庫，具體是提交版本b281b0921b636bc36ad05c0b0b0763bd6dd43463。
• 我們使用MT-bench（一組具有挑戰性的多輪開放式問題）來評估模型。

主要結果

H4分數復現腳本

• 準備評估環境：

# 克隆倉庫
git clone https://github.com/EleutherAI/lm-evaluation-harness.git

# 檢出特定提交版本
git checkout b281b0921b636bc36ad05c0b0b0763bd6dd43463

# 切換到倉庫目錄
cd lm-evaluation-harness

倫理問題

倫理考量

• 由於我們在模型的訓練過程中未包含基準測試集或訓練集，因此不存在倫理問題。

聯繫我們

為何選擇Upstage大語言模型？

Upstage的大語言模型研究取得了顯著成果。截至8月1日，我們的70B模型在openLLM排名中位居榜首，成為目前全球領先的模型。鑑於將私有大語言模型應用於實際業務的巨大潛力，我們邀請您輕鬆應用私有大語言模型，並使用您自己的數據進行微調。如需無縫且定製化的解決方案，請隨時與我們聯繫。► 點擊此處聯繫