SOLAR 0 70b 16bit

🚀 SOLAR-0-70b-16bitモデル

Upstageによって開発された新しいボット「Solar」が、Poeで利用可能になりました。HuggingFace Open LLMリーダーボードで上位にランクインしており、Llama 2をファインチューニングしたSolarは、オープンソースによって可能になった進歩の素晴らしい例です。 https://poe.com/Solar-0-70b で今すぐ試してみてください。

🚀 クイックスタート

モデル名は、LLaMa - 2 - 70b - instruct - v2からSOLAR - 0 - 70b - 16bitに変更されました。

✨ 主な機能

このモデルは、LLaMA - 2をベースにしており、HuggingFace Transformersライブラリを使用して開発されています。また、最大10k以上の入力トークンを処理することができます。

📦 インストール

以下のコードを使用して、モデルをロードすることができます。これはA100 80GBでテストされています。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("upstage/Llama-2-70b-instruct-v2")
model = AutoModelForCausalLM.from_pretrained(
    "upstage/Llama-2-70b-instruct-v2",
    device_map="auto",
    torch_dtype=torch.float16,
    load_in_8bit=True,
    rope_scaling={"type": "dynamic", "factor": 2} # allows handling of longer inputs
)

prompt = "### User:\nThomas is healthy, but he has to go to the hospital. What could be the reasons?\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
del inputs["token_type_ids"]
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

output = model.generate(**inputs, streamer=streamer, use_cache=True, max_new_tokens=float('inf'))
output_text = tokenizer.decode(output[0], skip_special_tokens=True)

📚 ドキュメント

モデル詳細

データセット詳細

使用データセット

• Orcaスタイルのデータセット
• Alpacaスタイルのデータセット
• 上記のデータセット以外は使用されていません。
• ベンチマークテストセットやトレーニングセットは使用されていません。

プロンプトテンプレート

### System:
{System}

### User:
{User}

### Assistant:
{Assistant}

ハードウェアとソフトウェア

• ハードウェア：このモデルのトレーニングには、A100x8 * 4を使用しました。
• トレーニング要素：このモデルは、DeepSpeedライブラリとHuggingFace Trainer / HuggingFace Accelerateを組み合わせてファインチューニングされています。

評価結果

概要

• Open LLM Leaderboardで評価されているタスクに従って、パフォーマンス評価を行いました。
• モデルは、ARC - Challenge、HellaSwag、MMLU、TruthfulQAの4つのベンチマークデータセットで評価されました。
• lm - evaluation - harnessリポジトリ、具体的にはコミットb281b0921b636bc36ad05c0b0b0763bd6dd43463を使用しました。
• MT - benchという、難しいマルチターンのオープンエンド型の質問セットを使用して、モデルを評価しました。

主要結果

H4スコア再現用スクリプト

評価環境を準備するには、以下のコマンドを実行します。

# リポジトリをクローンする
git clone https://github.com/EleutherAI/lm-evaluation-harness.git
# 特定のコミットにチェックアウトする
git checkout b281b0921b636bc36ad05c0b0b0763bd6dd43463
# リポジトリディレクトリに移動する
cd lm-evaluation-harness

📄 ライセンス

ファインチューニングされたチェックポイントは、非商用のCreative Commonsライセンス（CC BY - NC - 4.0）の下でライセンスされています。

🔧 技術詳細

このモデルは、LLaMA - 2をベースにしており、rope_scalingオプションを使用することで、最大10k以上の入力トークンを処理することができます。トレーニングには、A100x8 * 4のハードウェアを使用し、DeepSpeedライブラリとHuggingFace Trainer / HuggingFace Accelerateを組み合わせてファインチューニングされています。

お問い合わせ

Upstageについて

• Upstageは、大規模言語モデル（LLM）とAIに特化した会社です。当社は、あなたがプライベートなLLMと関連アプリケーションを構築するのを支援します。 ドメイン固有のLLMを構築するためのデータセットがある場合、またはLLMアプリケーションを作成する場合は、► ここをクリックしてお問い合わせ ください。
• 8月1日現在、当社の70BモデルはopenLLMランキングでトップにランクインしており、現在世界で最も優れたパフォーマンスを誇っています。