Redpajama INCITE 7B Instruct

🚀 RedPajama-INCITE-7B-Instruct

RedPajama-INCITE-7B-Instructは、Togetherと、Ontocord.ai、ETH DS3Lab、AAI CERC、Université de Montréal、MILA - Québec AI Institute、Stanford Center for Research on Foundation Models (CRFM)、Stanford Hazy Research研究グループ、LAIONなどのオープンソースAIコミュニティのリーダーによって開発されました。

このモデルは、GPT-JTのデータを使用して、HELMのコアシナリオと重複するタスクを除外して、フェデレーションラーニング用に微調整されました。

• ベースモデル: RedPajama-INCITE-7B-Base
• 命令調整版: RedPajama-INCITE-7B-Instruct
• チャット版: RedPajama-INCITE-7B-Chat

🚀 クイックスタート

モデルを使用するには、transformersバージョンが4.25.1以上が必要です。

GPU推論

これには16GBのメモリを持つGPUが必要です。

import torch
import transformers
from transformers import AutoTokenizer, AutoModelForCausalLM

MIN_TRANSFORMERS_VERSION = '4.25.1'

# check transformers version
assert transformers.__version__ >= MIN_TRANSFORMERS_VERSION, f'Please upgrade transformers to version {MIN_TRANSFORMERS_VERSION} or higher.'

# init
tokenizer = AutoTokenizer.from_pretrained("togethercomputer/RedPajama-INCITE-7B-Instruct")
model = AutoModelForCausalLM.from_pretrained("togethercomputer/RedPajama-INCITE-7B-Instruct", torch_dtype=torch.float16)
model = model.to('cuda:0')
# infer
prompt = "Q: The capital of France is?\nA:"
inputs = tokenizer(prompt, return_tensors='pt').to(model.device)
input_length = inputs.input_ids.shape[1]
outputs = model.generate(
    **inputs, max_new_tokens=128, do_sample=True, temperature=0.7, top_p=0.7, top_k=50, return_dict_in_generate=True
)
token = outputs.sequences[0, input_length:]
output_str = tokenizer.decode(token)
print(output_str)
"""
Paris
"""

Int8でのGPU推論

これには12GBのメモリを持つGPUが必要です。 int8で推論を実行するには、accelerateとbitandbytesをインストールする必要があります。以下のコマンドでインストールできます。

pip install accelerate
pip install bitsandbytes

その後、以下のようにint8で推論を実行できます。

import torch
import transformers
from transformers import AutoTokenizer, AutoModelForCausalLM

MIN_TRANSFORMERS_VERSION = '4.25.1'

# check transformers version
assert transformers.__version__ >= MIN_TRANSFORMERS_VERSION, f'Please upgrade transformers to version {MIN_TRANSFORMERS_VERSION} or higher.'

# init
tokenizer = AutoTokenizer.from_pretrained("togethercomputer/RedPajama-INCITE-7B-Instruct")
model = AutoModelForCausalLM.from_pretrained("togethercomputer/RedPajama-INCITE-7B-Instruct", device_map='auto', torch_dtype=torch.float16, load_in_8bit=True)

# infer
prompt = "Q: The capital of France is?\nA:"
inputs = tokenizer(prompt, return_tensors='pt').to(model.device)
input_length = inputs.input_ids.shape[1]
outputs = model.generate(
    **inputs, max_new_tokens=128, do_sample=True, temperature=0.7, top_p=0.7, top_k=50, return_dict_in_generate=True
)
token = outputs.sequences[0, input_length:]
output_str = tokenizer.decode(token)
print(output_str)
"""
Paris
"""

CPUでの推論

import torch
import transformers
from transformers import AutoTokenizer, AutoModelForCausalLM

MIN_TRANSFORMERS_VERSION = '4.25.1'

# check transformers version
assert transformers.__version__ >= MIN_TRANSFORMERS_VERSION, f'Please upgrade transformers to version {MIN_TRANSFORMERS_VERSION} or higher.'

# init
tokenizer = AutoTokenizer.from_pretrained("togethercomputer/RedPajama-INCITE-7B-Instruct")
model = AutoModelForCausalLM.from_pretrained("togethercomputer/RedPajama-INCITE-7B-Instruct", torch_dtype=torch.bfloat16)
# infer
prompt = "Q: The capital of France is?\nA:"
inputs = tokenizer(prompt, return_tensors='pt').to(model.device)
input_length = inputs.input_ids.shape[1]
outputs = model.generate(
    **inputs, max_new_tokens=128, do_sample=True, temperature=0.7, top_p=0.7, top_k=50, return_dict_in_generate=True
)
token = outputs.sequences[0, input_length:]
output_str = tokenizer.decode(token)
print(output_str)
"""
Paris
"""

LayerNormKernelImplがCPU用のfp16で実装されていないため、CPU推論にはbfloat16を使用しています。

✨ 主な機能

直接利用

以下に除外される利用について説明します。

誤用、悪意のある利用、および想定外の利用

エンドユーザーは、モデルが責任ある倫理的な方法で使用されることを保証する責任があります。

想定外の利用

RedPajama-INCITE-7B-Instructは言語モデルであり、想定された範囲外の他のユースケースではうまく機能しない場合があります。 たとえば、安全上重要なアプリケーションや、個人や社会に重大な影響を与える決定を行うために使用するのに適していない場合があります。 モデルの制限を考慮し、意図された目的のためにのみ使用することが重要です。

誤用と悪意のある利用

RedPajama-INCITE-7B-Instructは言語モデリング用に設計されています。 モデルを不正または非倫理的な活動に使用するなどの誤用は、厳しく禁止されており、プロジェクトの原則に反します。 このモデルを使用して、個人に残酷なコンテンツを生成することは、このモデルの誤用です。これには、以下が含まれますが、これらに限定されません。

• 偽のニュース、誤情報、または宣伝を生成すること
• 個人またはグループに対する憎しみの言葉、差別、または暴力を宣伝すること
• 本人または組織の承諾なしになりすますこと
• サイバーいじめや嫌がらせを行うこと
• 中傷的なコンテンツ
• スパムまたは詐欺
• 適切な許可なしに機密または敏感な情報を共有すること
• モデルまたはそれを訓練するために使用されるデータの利用規約に違反すること
• マルウェアの拡散、フィッシング詐欺、またはスパムなどの悪意のある目的で自動ボットを作成すること

制限事項

RedPajama-INCITE-7B-Instructは、他の言語モデルと同様に、考慮すべき制限があります。 たとえば、モデルは常に正確または関連する回答を提供するとは限らず、特に複雑であいまいな質問や、訓練データの範囲外の質問に対してはそうです。 したがって、個人や組織からの貢献を歓迎し、より堅牢で包括的なチャットボットの作成に向けた協力を奨励します。

訓練

訓練データ

togethercomputer/RedPajama-Data-1Tを参照してください。

訓練手順

• ハードウェア: 8台のA100
• オプティマイザー: Adam
• 勾配蓄積: 1
• トークン数: 10億トークン
• 学習率: 1e-5

📚 ドキュメント

モデルの詳細

コミュニティ

Together Discordで私たちに参加しましょう。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。