Cerebras GPT 2.7B

🚀 Cerebras-GPT 2.7B

Cerebras-GPT 2.7Bは、大規模言語モデル（LLM）の研究を促進するために開発されたモデルです。このモデルファミリーは、Cerebrasのソフトウェアとハードウェアスタックを使用してLLMをトレーニングする際の単純性と拡張性を実証します。

ブログ記事とarXiv論文をご覧ください！

🚀 クイックスタート

このモデルは、AutoModelForCausalLM機能を使用して簡単にロードできます。

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("cerebras/Cerebras-GPT-2.7B")
model = AutoModelForCausalLM.from_pretrained("cerebras/Cerebras-GPT-2.7B")

text = "Generative AI is "

高度な使用法

Hugging Face Pipelinesを使用する場合

from transformers import pipeline

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
generated_text = pipe(text, max_length=50, do_sample=False, no_repeat_ngram_size=2)[0]
print(generated_text['generated_text'])

model.generate()を使用する場合

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, num_beams=5, 
                        max_new_tokens=50, early_stopping=True,
                        no_repeat_ngram_size=2)
text_output = tokenizer.batch_decode(outputs, skip_special_tokens=True)
print(text_output[0])

✨ 主な機能

• Cerebras-GPTファミリーは、オープンなアーキテクチャとデータセットを使用して、LLMのスケーリング法則の研究を促進します。
• すべてのCerebras-GPTモデルは、Hugging Faceで利用可能です。
• このファミリーには、111M、256M、590M、1.3B、2.7B、6.7B、および13Bのモデルが含まれています。
• すべてのモデルは、Chinchillaスケーリング法則（モデルパラメータごとに20トークン）に従ってトレーニングされています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

モデルの詳細

これは、2.7Bパラメータを持つCerebras-GPTの標準パラメータ化バージョンです。

関連モデル: Cerebras-GPT Models

モデルのパラメータ

トレーニングデータ

Cerebras-GPTは、EleutherAIのthe Pileデータセットを使用してトレーニングされています。データソースと方法論の詳細については、Pile paperを参照してください。

データは、ftfyライブラリを使用してクリーニングされ、Eleutherが提供するスクリプトを使用してフィルタリングされました。データは、GPT-2語彙を使用したバイトペアエンコーディングでトークン化されています。トークン化されたバージョンのPileには、371Bトークンが含まれています。

最近の研究では、Pileに大量の重複データが存在することが明らかになっています。EleutherのPythiaは、重複データを削減するために重複排除プロセスを適用しています。私たちのモデルは、重複排除されていない標準のPileでトレーニングされていますが、重複排除されたデータセットを使用することでさらなる改善の可能性があります。

トレーニング手順

GPT-3スタイルのモデルアーキテクチャを使用しています。すべてのレイヤーは、GPT-3スタイルの疎なバンド型注意ではなく、完全な注意を使用しています。

学習率は、375Mトークン（111Mと256Mモデルの場合は1500ステップ）でウォームアップされ、10倍のコサイン減衰が適用されます。ドロップアウトは使用されず、重み減衰は0.1に設定されています。すべてのモデルは、MSL 2048でトレーニングされています。

トレーニングテーブル

評価

0-shot評価

5-shot評価

使用法と制限

意図された使用法

主な目的は、大規模言語モデルの研究を推進することです。これらのモデルは、自然言語処理、アプリケーション、倫理、およびアライメント研究の基礎モデルとして使用できます。

これらのモデルは、Apacheライセンスでリリースされており、コミュニティが自由に使用できます。

範囲外の使用法

Cerebras-GPTモデルは、英語のみのPileでトレーニングされており、機械翻訳タスクには適していません。また、チャットボットのような人間との対話アプリケーションには最適化されていません。

リスク、バイアス、倫理的考慮事項

• データ: Pileデータセットは、毒性分析、性別バイアス、侮辱的な内容、人種的に敏感な内容など、さまざまな倫理的観点から徹底的に分析されています。詳細については、Pileデータセットの参考文献を参照してください。
• 人間の生活: このモデルの出力は、人間の価値観と一致する場合も一致しない場合もあります。このモデルを、人間の生活に直接影響を与える本番環境に展開する前に、リスクを十分に調査する必要があります。
• リスクと危害: Pileデータセットには、下流のモデル展開でさまざまな形で現れる分布バイアスが存在する可能性があります。大規模言語モデルには、ステレオタイプの拡大、トレーニングデータの記憶、またはプライベートまたはセキュアな情報の開示など、他のリスクも関連しています。
• 緩和策: Cerebras-GPTを事前トレーニングする際には、標準のPileデータセットの前処理における緩和策のみが採用されています。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

謝辞

この研究を可能にした、過去と現在のすべてのCerebrasエンジニアに感謝します。