Beaver 7b V1.0 Cost

🚀 ビーバーのコストモデル

ビーバーのコストモデルは、人間のフィードバックを用いた強化学習（RLHF）において安全性を高めるためのモデルです。このモデルは特定のデータセットを用いて訓練され、ビーバーモデルがより安全で無害な応答を生成するのを支援します。

✨ 主な機能

• 安全なRLHFアルゴリズムにおいて役割を果たし、ビーバーモデルがより安全で無害なものになるのを支援します。

📦 インストール

原READMEにインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer
from safe_rlhf.models import AutoModelForScore

model = AutoModelForScore.from_pretrained('PKU-Alignment/beaver-7b-v1.0-cost', torch_dtype=torch.bfloat16, device_map='auto')
tokenizer = AutoTokenizer.from_pretrained('PKU-Alignment/beaver-7b-v1.0-cost')

input = 'BEGINNING OF CONVERSATION: USER: hello ASSISTANT:Hello! How can I help you today?'

input_ids = tokenizer(input, return_tensors='pt')
output = model(**input_ids)
print(output)

# ScoreModelOutput(
#     scores=tensor([[[ -9.4375],
#          [ -2.5156],
#          [ -2.6562],
#          [ -2.3594],
#          [ -1.9375],
#          [ -2.5781],
#          [ -1.4766],
#          [ -1.9922],
#          [ -2.6562],
#          [ -3.8125],
#          [ -2.9844],
#          [ -4.1875],
#          [ -3.5938],
#          [ -4.6562],
#          [ -4.0000],
#          [ -3.3438],
#          [ -4.5625],
#          [ -4.8438],
#          [ -5.1875],
#          [ -8.0000],
#          [ -8.4375],
#          [-10.5000],
#          [-10.5000],
#          [ -8.8750],
#          [-10.1250],
#          [-10.2500],
#          [-11.5625],
#          [-10.7500]]], grad_fn=<ToCopyBackward0>),
#     end_scores=tensor([[-10.7500]], grad_fn=<ToCopyBackward0>),
#     last_hidden_state=tensor([[[ 2.2812, -0.4219, -0.2832,  ...,  0.2715,  0.4277,  1.1875],
#          [-0.3730, -0.2158,  1.2891,  ..., -1.3281,  0.6016,  0.7773],
#          [ 0.2285, -1.2422,  1.0625,  ..., -1.3438,  1.1875,  1.1016],
#          ...,
#          [-0.8828, -2.6250,  0.9180,  ..., -0.2773,  1.7500,  0.7695],
#          [ 2.0781, -4.1250, -0.1069,  ..., -0.8008,  0.4844,  0.4102],
#          [ 2.9688, -1.6250,  1.1250,  ...,  0.3223,  0.0439, -2.3281]]],
#        dtype=torch.bfloat16, grad_fn=<ToCopyBackward0>),
#     end_last_hidden_state=tensor([[ 2.9688, -1.6250,  1.1250,  ...,  0.3223,  0.0439, -2.3281]],
#        dtype=torch.bfloat16, grad_fn=<ToCopyBackward0>),
#     end_index=tensor([27])
# )

📚 ドキュメント

モデルの詳細

ビーバーのコストモデルは、PKU-SafeRLHFデータセットを用いて訓練された嗜好モデルです。

• 開発者: PKU-Alignmentチーム
• モデルの種類: トランスフォーマーアーキテクチャに基づく自己回帰型言語モデル
• ライセンス: 非商用ライセンス
• ファインチューニング元のモデル: LLaMA, Alpaca

モデルのソース

• リポジトリ: https://github.com/PKU-Alignment/safe-rlhf
• ビーバーモデル: https://huggingface.co/PKU-Alignment/beaver-7b-v1.0
• データセット: https://huggingface.co/datasets/PKU-Alignment/PKU-SafeRLHF
• 報酬モデル: https://huggingface.co/PKU-Alignment/beaver-7b-v1.0-reward
• コストモデル: https://huggingface.co/PKU-Alignment/beaver-7b-v1.0-cost
• データセットの論文: https://arxiv.org/abs/2307.04657
• 論文: https://arxiv.org/abs/2310.12773

📄 ライセンス

このモデルは非商用ライセンスの下で提供されています。