Gemma Ko 7b

🚀 Gemma-Ko

Gemma-KoはGoogleが開発した軽量で最先端のオープンモデルで、Geminiモデルを作成するために使用された同じ研究と技術に基づいて構築されています。このモデルは、さまざまなテキスト生成タスクに適しており、リソースが限られた環境でも展開可能です。

🚀 クイックスタート

まず、pip install -U transformers を実行して transformers ライブラリを最新版に更新します。その後、以下のコードスニペットを使用してモデルを実行できます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("beomi/gemma-ko-7b")
model = AutoModelForCausalLM.from_pretrained("beomi/gemma-ko-7b")

input_text = "머신러닝과 딥러닝의 차이는"
input_ids = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

高度な使用法

単一/複数GPUでの実行

# pip install accelerate
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("beomi/gemma-ko-7b")
model = AutoModelForCausalLM.from_pretrained("beomi/gemma-ko-7b", device_map="auto")

input_text = "머신러닝과 딥러닝의 차이는"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

その他の最適化

• Flash Attention 2 まず、環境に flash-attn をインストールします。pip install flash-attn

model = AutoModelForCausalLM.from_pretrained(
    "beomi/gemma-ko-7b", 
    torch_dtype=torch.float16, 
+   attn_implementation="flash_attention_2"
).to(0)

✨ 主な機能

Gemmaは、Googleによる軽量で最先端のオープンモデルのファミリーです。Geminiモデルを作成するために使用された同じ研究と技術に基づいて構築されています。これらは、テキスト対テキスト、デコーダーのみの大規模言語モデルで、英語で利用可能で、オープンな重み、事前学習されたバリアント、および命令調整されたバリアントがあります。Gemmaモデルは、質問応答、要約、推論などのさまざまなテキスト生成タスクに適しています。比較的小さなサイズのため、ラップトップ、デスクトップ、または独自のクラウドインフラストラクチャなどのリソースが限られた環境でも展開できます。

📚 ドキュメント

モデル情報

説明

Gemmaは、Googleによる軽量で最先端のオープンモデルのファミリーです。Geminiモデルを作成するために使用された同じ研究と技術に基づいて構築されています。これらは、テキスト対テキスト、デコーダーのみの大規模言語モデルで、英語で利用可能で、オープンな重み、事前学習されたバリアント、および命令調整されたバリアントがあります。Gemmaモデルは、質問応答、要約、推論などのさまざまなテキスト生成タスクに適しています。比較的小さなサイズのため、ラップトップ、デスクトップ、または独自のクラウドインフラストラクチャなどのリソースが限られた環境でも展開できます。

入出力

• 入力: 質問、プロンプト、または要約するドキュメントなどのテキスト文字列。
• 出力: 入力に応じて生成された韓国語/英語のテキスト。質問への回答やドキュメントの要約など。

実装情報

トレーニングは beomi/Gemma-EasyLM を使用して行われました。

使用法と制限

意図された使用法

オープン大規模言語モデル（LLM）は、さまざまな産業やドメインで幅広いアプリケーションがあります。以下の潜在的な用途のリストは網羅的ではありません。このリストの目的は、モデルの作成者がモデルのトレーニングと開発の一環として考慮した可能なユースケースに関するコンテキスト情報を提供することです。

• コンテンツ作成とコミュニケーション
  • テキスト生成: これらのモデルは、詩、脚本、コード、マーケティングコピー、および電子メール草稿などの創造的なテキスト形式を生成するために使用できます。
• 研究と教育
  • 自然言語処理（NLP）研究: これらのモデルは、研究者がNLP技術を実験し、アルゴリズムを開発し、分野の進歩に貢献するための基盤として機能できます。
  • 言語学習ツール: 対話型の言語学習体験をサポートし、文法修正や執筆練習を支援します。
  • 知識探索: 研究者が大量のテキストを探索するのを支援し、要約を生成したり、特定のトピックに関する質問に回答したりします。

制限

• トレーニングデータ
  • トレーニングデータの品質と多様性は、モデルの能力に大きく影響します。トレーニングデータのバイアスやギャップは、モデルの応答の制限につながる可能性があります。
  • トレーニングデータセットの範囲は、モデルが効果的に処理できる主題領域を決定します。
• コンテキストとタスクの複雑さ
  • LLMは、明確なプロンプトと指示で構成できるタスクでより優れています。オープンエンドまたは非常に複雑なタスクは困難になる可能性があります。
  • モデルのパフォーマンスは、提供されるコンテキストの量に影響される可能性があります（長いコンテキストは一般に、ある程度まで、より良い出力につながります）。
• 言語の曖昧さとニュアンス
  • 自然言語は本質的に複雑です。LLMは、微妙なニュアンス、皮肉、または比喩的な言語を理解するのに苦労する可能性があります。
• 事実の正確性
  • LLMは、トレーニングデータセットから学習した情報に基づいて応答を生成しますが、知識ベースではありません。誤ったまたは古い事実陳述を生成する可能性があります。
• 常識
  • LLMは言語の統計的パターンに依存しています。特定の状況で常識的な推論を適用する能力が欠けている可能性があります。

倫理的な考慮事項とリスク

大規模言語モデル（LLM）の開発にはいくつかの倫理的な懸念が生じます。オープンモデルを作成する際に、以下の点を慎重に考慮しました。

• バイアスと公平性
  • 大規模な実世界のテキストデータでトレーニングされたLLMは、トレーニング素材に埋め込まれた社会文化的バイアスを反映する可能性があります。これらのモデルは注意深く精査され、入力データの前処理が説明され、事後評価がこのカードに報告されています。
• 誤情報と誤用
  • LLMは、誤った、誤解を招く、または有害なテキストを生成するために誤用される可能性があります。
  • モデルの責任ある使用に関するガイドラインが提供されています。Responsible Generative AI Toolkit を参照してください。
• 透明性と説明責任
  • このモデルカードは、モデルのアーキテクチャ、機能、制限、および評価プロセスに関する詳細をまとめています。
  • 責任を持って開発されたオープンモデルは、AIエコシステム全体の開発者や研究者がLLM技術にアクセスできるようにすることで、イノベーションを共有する機会を提供します。

識別されたリスクと緩和策:

• バイアスの永続化: モデルのトレーニング、微調整、およびその他のユースケースで、評価指標、人間のレビューを使用した継続的な監視と、バイアス除去技術の探索を行うことが推奨されます。
• 有害なコンテンツの生成: コンテンツの安全性に関するメカニズムとガイドラインが不可欠です。開発者は、特定の製品ポリシーとアプリケーションのユースケースに基づいて、適切なコンテンツ安全対策を実装するよう注意を払うことが推奨されます。
• 悪意のある目的での誤用: 技術的な制限と開発者およびエンドユーザーの教育は、LLMの悪意のあるアプリケーションに対抗するのに役立ちます。ユーザーが誤用を報告するための教育リソースと報告メカニズムが提供されています。Gemmaモデルの禁止された使用法は Gemma Prohibited Use Policy に概説されています。
• プライバシー侵害: モデルは、個人識別情報（PII）を削除するためにフィルタリングされたデータでトレーニングされました。開発者は、プライバシー保護技術を使用してプライバシー規制に準拠することが推奨されます。

🔧 技術詳細

引用

@misc {gemma_ko_7b,
	author       = { {Junbum Lee, Taekyoon Choi} },
	title        = { gemma-ko-7b },
	year         = 2024,
	url          = { https://huggingface.co/beomi/gemma-ko-7b },
	doi          = { 10.57967/hf/1859 },
	publisher    = { Hugging Face }
}

モデル開発者

Junbum Lee (Beomi) & Taekyoon Choi (Taekyoon)

謝辞

トレーニングは TPU Research Cloud プログラムによってサポートされています。

📄 ライセンス

このモデルは gemma-terms-of-use の下で提供されています。