Cerebras GPT 111M

🚀 Cerebras-GPT 111M

Cerebras-GPT 111Mは、大規模言語モデル（LLM）の研究を促進するために開発されたモデルです。このモデルは、Cerebrasのソフトウェアとハードウェアスタック上でのLLMのトレーニングの簡単さと拡張性を実証するものです。

ブログ記事 と arXiv論文 をご覧ください！

🚀 クイックスタート

このモデルは、AutoModelForCausalLM 機能を使用して簡単にロードできます。

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("cerebras/Cerebras-GPT-111M")
model = AutoModelForCausalLM.from_pretrained("cerebras/Cerebras-GPT-111M")

text = "Generative AI is "

また、Hugging Face Pipelinesを使用することもできます。

高度な使用法

from transformers import pipeline

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
generated_text = pipe(text, max_length=50, do_sample=False, no_repeat_ngram_size=2)[0]
print(generated_text['generated_text'])

あるいは、model.generate() を使用することもできます。

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, num_beams=5, 
                        max_new_tokens=50, early_stopping=True,
                        no_repeat_ngram_size=2)
text_output = tokenizer.batch_decode(outputs, skip_special_tokens=True)
print(text_output[0])

✨ 主な機能

• Cerebras-GPTファミリーは、オープンアーキテクチャとデータセットを使用したLLMスケーリング則の研究を容易にします。
• すべてのCerebras-GPTモデルは、Hugging Faceで利用可能です。
• このファミリーには、111M、256M、590M、1.3B、2.7B、6.7B、および13Bのモデルが含まれています。
• すべてのモデルは、Chinchillaスケーリング則（モデルパラメータごとに20トークン）に従ってトレーニングされています。

📦 インストール

このモデルはHugging Faceから直接ロードできるため、特別なインストール手順は必要ありません。以下のコードを使用してモデルをロードできます。

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("cerebras/Cerebras-GPT-111M")
model = AutoModelForCausalLM.from_pretrained("cerebras/Cerebras-GPT-111M")

📚 ドキュメント

モデルの詳細

これは、111M パラメータのCerebras-GPTの標準パラメータ化バージョンです。

関連モデル: Cerebras-GPT Models

モデルのパラメータ比較

トレーニングデータ

Cerebras-GPTは、EleutherAI の the Pile データセットを使用してトレーニングされています。データソースと方法論の詳細については、Pile論文 を参照してください。Pileは、ftfyライブラリを使用してテキストを正規化し、Eleutherが提供するスクリプトを使用してフィルタリングされました。

データは、GPT - 2語彙を使用したバイトペアエンコーディングでトークナイズされました。私たちのトークナイズされたバージョンのPileには、371Bトークンが含まれています。トレーニングデータセットの前処理の詳細については、論文の付録A.1を参照してください。

最近の研究では、Pileに大量の重複データが存在することがわかっています。EleutherのPythiaは、重複データを削減するための重複排除プロセスを適用し、Pileデータセットのサイズを減らしています。Pythiaは、標準データセットと重複排除されたデータセットの両方でトレーニングされ、その影響を評価しています。私たちのモデルは、重複排除されていない標準のPileでトレーニングされており、重複排除されたデータセットを使用することでさらなる改善の余地があります。

トレーニング手順

私たちは、GPT - 3スタイルのモデルアーキテクチャを使用しています。すべてのレイヤーは、GPT - 3スタイルの疎なバンド化されたアテンションではなく、完全なアテンションを使用しています。モデルの形状は、アスペクト比80に従うか、GPT - 3モデルと同じ形状に選択されました。学習率は、375Mトークン（111Mと256Mモデルの場合は1500ステップ）でウォームアップされ、10倍のコサイン減衰が適用されました。ドロップアウトは使用されず、重み減衰は0.1に設定されました。すべてのモデルは、MSL 2048でトレーニングされています。

すべてのモデルは、Chinchillaポイントまでトレーニングされています：モデルパラメータごとに20トークン。ステップ数は、最適なバッチサイズ（モデルによって異なる）と固定シーケンス長（2048）に基づいて選択されました。詳細については、以下のトレーニングテーブルを参照してください。

評価

私たちは、最小のモデルから最大のモデルまでトレーニングし、その過程でべき乗則を適合させました。べき乗則は、次にトレーニングする最大のモデルの検証損失を外挿するのに役立ち、トレーニング実行が順調に進んでいるかどうかについての自信を与えてくれました。

私たちは、Pileの検証とテスト分割を使用して、テキスト予測の交差エントロピーの上流（事前トレーニング）評価を行いました。また、Eleuther lm - evaluation - harness を使用して、標準化されたタスクでのテキスト生成精度の下流評価を行いました。結果は、論文のセクション3で多くの公開されている大規模言語モデルと比較されています。

0ショット評価

5ショット評価

使用方法と制限

意図された使用法

主な意図された使用法は、大規模言語モデルの研究をさらに推進することです。これらのモデルは、自然言語処理、アプリケーション、倫理、およびアライメント研究の基礎モデルとして使用できます。主な対象ユーザーは、LLMを改善するために取り組んでいる研究者と、参照実装、トレーニング設定、ハイパーパラメータ、または事前トレーニングされたモデルを求める実践者です。私たちは、これらのモデルを完全に許容的なApacheライセンスでリリースし、コミュニティが自由に使用できるようにしています。

あなたは、Cerebras Model Studio またはサードパーティのライブラリを介して、Cerebras-GPTモデルをデプロイするために微調整および適応させることができます。Cerebras-GPTモデルファミリーを本番環境の下流アプリケーションで使用する前に、さらなる安全性関連のテストと緩和策を適用する必要があります。

財政的およびコンピューティング予算の制約により、Cerebras-GPTモデルは、論文で説明されたアプローチに従ってのみトレーニングおよび評価されました。

想定外の使用法

Cerebras-GPTモデルは、英語のみのPileでトレーニングされており、機械翻訳タスクには適していません。

Cerebras-GPTモデルは、チャットボットのような人間との対話アプリケーションには調整されておらず、Flan-T5やChatGPTのように命令調整または人間のフィードバックによる強化学習（RLHF）を受けたモデルと同じようにプロンプトに応答することはできません。Cerebras-GPTモデルは、これらの方法を使用して調整することができます。

リスク、バイアス、倫理的考慮事項

• データ：Pileデータセットは、毒性分析、性別バイアス、侮辱的な内容、人種的に敏感な内容など、さまざまな倫理的観点から徹底的に分析されています。Pileデータセットの参考文献を参照してください。
• 人間の生活：このモデルの出力は、人間の価値と一致する場合も一致しない場合もあります。このモデルを人間の生活に直接影響を与える本番環境にデプロイする前に、リスクを十分に調査する必要があります。
• リスクと害：Pileデータセットには分布バイアスが存在する可能性があり、下流のモデルデプロイでさまざまな形で現れる可能性があります。大規模言語モデルには、ステレオタイプの拡大、トレーニングデータの記憶、または個人情報や機密情報の開示など、他のリスクも関連しています。
• 緩和策：Cerebras-GPTを事前トレーニングする際には、標準のPileデータセットの前処理における緩和策のみが採用されました。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

謝辞

この研究を可能にした、過去および現在のすべてのCerebrasのエンジニアに感謝します。