Gams 9B Instruct GGUF

🚀 GaMS-9B-Instruct

このモデルは、cjvt/GaMS-9B-Instruct のGGUFバージョンで、リュブリャナ大学のコンピュータと情報科学学部におけるWeb情報抽出と検索の授業のために変換されました。GaMS（スロベニア語用生成モデル）ファミリーの新しい改良版で、GoogleのGemma 2ファミリーに基づき、スロベニア語、英語、そして一部のクロアチア語、セルビア語、ボスニア語のコーパスで継続的に事前学習されています。

🚀 クイックスタート

このモデルは、以下のコードを使用して pipeline API を通じて実行できます。

from transformers import pipeline

model_id = "cjvt/GaMS-9B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="cuda" # Macデバイスで実行する場合は "mps" に置き換える
)

# 応答生成の例
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pipeline(message, max_new_tokens=512)
print("Model's response:", response[0]["generated_text"][-1]["content"])

# 会話チェーンの例
new_message = response[0]["generated_text"]
new_message.append({"role": "user", "content": "Lahko bolj podrobno opišeš ta dogodek?"})
response = pipeline(new_message, max_new_tokens=1024)
print("Model's response:", response[0]["generated_text"][-1]["content"])

マルチGPU推論の場合は、device_map を auto に設定します。

from transformers import pipeline

model_id = "cjvt/GaMS-9B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="auto"
)

# 応答生成の例
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pipeline(message, max_new_tokens=512)
print("Model's response:", response[0]["generated_text"][-1]["content"])

# 会話チェーンの例
new_message = response[0]["generated_text"]
new_message.append({"role": "user", "content": "Lahko bolj podrobno opišeš ta dogodek?"})
response = pipeline(new_message, max_new_tokens=1024)
print("Model's response:", response[0]["generated_text"][-1]["content"])

✨ 主な機能

• 多言語対応：スロベニア語、英語を中心に、クロアチア語、ボスニア語、セルビア語にも対応しています。
• 高精度なテキスト生成：様々なタスクに対応した高精度なテキスト生成が可能です。
• 柔軟な推論設定：シングルGPUやマルチGPUでの推論が可能です。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline

model_id = "cjvt/GaMS-9B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="cuda" # Macデバイスで実行する場合は "mps" に置き換える
)

# 応答生成の例
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pipeline(message, max_new_tokens=512)
print("Model's response:", response[0]["generated_text"][-1]["content"])

高度な使用法

from transformers import pipeline

model_id = "cjvt/GaMS-9B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="auto" # マルチGPU推論
)

# 会話チェーンの例
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pipeline(message, max_new_tokens=512)
new_message = response[0]["generated_text"]
new_message.append({"role": "user", "content": "Lahko bolj podrobno opišeš ta dogodek?"})
response = pipeline(new_message, max_new_tokens=1024)
print("Model's response:", response[0]["generated_text"][-1]["content"])

📚 ドキュメント

データ

CPTデータ

モデルは2段階で継続的に事前学習されました。最初の段階では、英語とスロベニア語（一部の場合はクロアチア語）の並列コーパスを使用して言語をアライメントしました。2段階目では、英語、スロベニア語、クロアチア語、ボスニア語、セルビア語の個別のコーパスで学習しました。

並列アライメントコーパス

各アライメントレベルの説明：

• ドキュメントレベル：並列ドキュメントを1つのドキュメントに連結します。
• 個別のドキュメント：並列ドキュメントを明示的にアライメントしません。
• パラグラフレベル：並列ドキュメントのパラグラフを連結します（スロベニア語/英語ドキュメントの最初のパラグラフの後に、もう一方の言語の最初のパラグラフが続き、その後に最初の言語の2番目のパラグラフが続きます）。

2段階目のコーパス

注釈：

• MetaFidaからは、dgt15_sl、classlawiki_sl、tweet_sl、janes_tweet、janes_forum、janes_newsのコーパスが除外されました。
• セルビア語のウィキペディアは、キリル文字からラテン文字に変換されました。

SFTデータ

SFTのトレーニングデータは、約25,000のトレーニング例と1,500の検証例から構成されています。このデータセットは、以下のデータセットの混合物です。

• GaMS-Instruct-GEN 1.0
• GaMS-Instruct-DH 1.0：このデータセットから3,000のランダムに選択された例が選ばれました。
• GaMS-Instruct-MED 1.0：このデータセットから3,000のランダムに選択された例が選ばれました。
• Parallel corpus EN-SL RSDO4 2.0：このコーパスに対して追加のフィルタリングが行われました。まず、NeMo Curator を使用してFastText言語識別を実行し、ソースが英語と検出され、ターゲットがスロベニア語と検出された例のみを残しました。次に、COMET モデルを実行して翻訳を評価しました。COMETスコアが0.945より高い例のみを残しました（約8,000の例）。
• Aya Dataset：このデータセットからは、英語とセルビア語の例のみが取られました。セルビア語の例は、キリル文字からラテン文字に変換されました。
• Math competitions：2001年から2010年の間のスロベニアの全国数学コンテストのPDFを取得しました。olmOCR を使用してPDFからテキストを抽出し、抽出されたテキストを手動で修正しました。これにより、約150の解かれた数学問題が得られました。

トレーニング

モデルは、Leonardo HPC のBoosterパーティションでトレーニングされました。

CPT

モデルは、NVIDIA NeMo 2.0フレームワーク を使用して継続的に事前学習されました。モデルは、4つのGPU間でテンソル並列、シーケンス並列、およびアクティベーション再計算を使用して、BF16混合精度でトレーニングされました。モデルは、それぞれ4つのA100 64GB GPUを含む32ノードでトレーニングされました。並列アライメントトレーニングには約4時間、2段階目には約40時間かかりました。

モデルは、線形ウォームアップ付きのコサイン学習率スケジューラを使用してトレーニングされ、以下のハイパーパラメータが使用されました。

並列アライメント：

• ウォームアップステップ：150
• 最小学習率：5e-6
• 最大学習率：2e-5
• 定数ステップ：0
• バッチサイズ：512（400万トークン）

2段階目：

• ウォームアップステップ：500
• 最小学習率：5e-6
• 最大学習率：5e-5
• 定数ステップ：100
• バッチサイズ：512（400万トークン）

SFT

教師あり微調整には、DeepSpeed ZeRO-3 を使用した Transformers ライブラリが使用されました。モデルは、4つのGPUに分割するためにパイプライン並列を使用して、BF16精度でトレーニングされました。モデルは、4つのA100 64GB GPUを備えた単一ノードでトレーニングされました。オプティマイザにはCPUオフロードが使用されました。

モデルは、線形ウォームアップ付きのコサイン学習率スケジューラを使用して調整され、以下のハイパーパラメータが使用されました。

• エポック数：5エポックでトレーニングされましたが、検証損失に基づいて最良のパフォーマンスを示したモデルは2エポック後に得られたため、そのモデルが保持されました。
• バッチサイズ：128
• ウォームアップステップ：150
• 最小学習率：1e-7
• 最大学習率：5e-6
• 定数ステップ：0

評価

モデルは、Slovene SuperGLUE の分類タスクコレクションを使用して、SloBench で評価されました。モデルのInstructバージョンは、英語からスロベニア語への翻訳 と スロベニア語から英語への翻訳 でも評価されました。さらに、Slovenian-LLM-Eval でも評価されました。

評価コード：

• SloBenchタスク
• Slovenian-LLM-Eval

Slovenian-LLM-Eval結果

GaMSモデル、ベースのGemma 2モデル、およびSlovenianGPT（Mistral 7Bに基づくスロベニア語用のオープンソースモデル）の比較が以下の図に示されています。すべてのモデルは、0ショットシナリオで評価されました。

Slobench結果

GaMS 2B、9B、および27Bモデルは、3ショットシナリオで評価されましたが、MultiRCおよび翻訳タスクでは0ショットが使用されました。GaMS-9B-Instructは、すべてのタスクで0ショットシナリオで評価されました。応答の正しい形式を確保するために、ガイド付きデコーディングが使用されました。

Slovene SuperGLUE

英語からスロベニア語への翻訳（ベンチマークの最初の11モデル）

スロベニア語から英語への翻訳（ベンチマークの最初の10モデル）

🔧 技術詳細

• 開発者：リュブリャナ大学のコンピュータと情報科学学部の研究者チーム。チームメンバー：Domen Vreš、Iztok Lebar Bajec、Tjaša Arčon、Gašper Jelovčan、Marko Robnik-Šikonja。
• 言語：スロベニア語、英語（主要）、クロアチア語、ボスニア語、セルビア語（次要）。このモデルは、Gemma 2がサポートする他の言語でも動作する可能性がありますが、それらの言語では継続的に事前学習されていません。
• ベースモデル：cjvt/GaMS-9B
• ライセンス：Gemma

📄 ライセンス

このモデルは、Gemma ライセンスの下で提供されています。

謝辞

このモデルは、PoVeJMo 研究プログラム（大規模言語モデルを用いた適応的自然言語処理）の中で開発されました。特に、SloLLaMaiという研究プロジェクトの中で開発されました。このプログラムは、スロベニア研究開発庁（ARIS）とNextGenerationEUによる回復とレジリエンス計画の中で資金提供されています。著者らは、スロベニア研究開発庁からの財政支援（研究基盤資金No. P6-0411 -- スロベニア語の言語資源と技術）にも感謝しています。

データ収集と準備に取り組んでくれたすべての人に感謝します。特に、Nikola Ljubešić、Taja Kuzman、Tjaša Arčon、Jaka Čibej、Simon Krek、Tomaž Erjavec、Iztok Kosem、Tomaž Savodnikに感謝します。

使用と制限事項（Gemma 2から引用）

これらのモデルには、ユーザーが認識すべき一定の制限があります。

意図された使用法

オープンな大規模言語モデル（LLM）は、様々な産業やドメインで幅広いアプリケーションがあります。以下の潜在的な使用例のリストは網羅的ではありません。このリストの目的は、モデルの作成者がモデルのトレーニングと開発の一環として考慮した可能性のあるユースケースに関する文脈情報を提供することです。

• コンテンツ作成とコミュニケーション
  • テキスト生成：これらのモデルは、詩、脚本、コード、マーケティングコピー、メール草稿などの創造的なテキスト形式を生成するために使用できます。
  • チャットボットと会話型AI：カスタマーサービス、バーチャルアシスタント、またはインタラクティブなアプリケーションの会話型インターフェースを提供します。
  • テキスト要約：テキストコーパス、研究論文、またはレポートの簡潔な要約を生成します。
• 研究と教育
  • 自然言語処理（NLP）研究：これらのモデルは、研究者がNLP技術を実験し、アルゴリズムを開発し、分野の進歩に貢献するための基盤となります。
  • 言語学習ツール：対話型の言語学習体験をサポートし、文法修正や執筆練習を支援します。
  • 知識探索：研究者が大量のテキストを探索するのを支援し、要約を生成したり、特定のトピックに関する質問に答えたりします。

制限事項

• トレーニングデータ
  • トレーニングデータの品質と多様性は、モデルの能力に大きく影響します。トレーニングデータのバイアスやギャップは、モデルの応答に制限をもたらす可能性があります。
  • トレーニングデータセットの範囲は、モデルが効果的に扱うことができる主題領域を決定します。
• コンテキストとタスクの複雑さ
  • LLMは、明確なプロンプトと指示で構成できるタスクでより優れています。オープンエンドまたは非常に複雑なタスクは困難になる可能性があります。
  • モデルのパフォーマンスは、提供されるコンテキストの量に影響される可能性があります（長いコンテキストは、ある程度までは一般的により良い出力につながります）。
• 言語の曖昧さとニュアンス
  • 自然言語は本質的に複雑です。LLMは、微妙なニュアンス、皮肉、または比喩的な言語を理解するのに苦労する可能性があります。
• 事実の正確性
  • LLMは、トレーニングデータセットから学習した情報に基づいて応答を生成しますが、知識ベースではありません。誤ったまたは古い事実陳述を生成する可能性があります。
• 常識
  • LLMは言語の統計的パターンに依存しています。特定の状況で常識的な推論を適用する能力が欠けている可能性があります。

倫理的な考慮事項とリスク

大規模言語モデル（LLM）の開発には、いくつかの倫理的な懸念が生じます。オープンモデルを作成するにあたり、以下の点を慎重に考慮しています。

• バイアスと公平性
  • 大規模な実世界のテキストデータでトレーニングされたLLMは、トレーニング素材に埋め込まれた社会文化的バイアスを反映する可能性があります。これらのモデルは、注意深く精査され、入力データの前処理が説明され、このカードに報告された事後評価が行われました。
• 誤情報と誤用
  • LLMは、誤った、誤解を招く、または有害なテキストを生成するために誤用される可能性があります。
  • モデルの責任ある使用のためのガイドラインが提供されています。[Responsible Generative AI Toolkit][rai-toolkit] を参照してください。
• 透明性と説明責任
  • このモデルカードは、モデルのアーキテクチャ、機能、制限、および評価プロセスに関する詳細を要約しています。
  • 責任を持って開発されたオープンモデルは、AIエコシステム全体の開発者や研究者にLLM技術をアクセス可能にすることで、イノベーションを共有する機会を提供します。

特定されたリスクと緩和策：

• バイアスの永続化：モデルのトレーニング、微調整、およびその他のユースケースで、評価指標、人間のレビューを使用した継続的な監視と、バイアス除去技術の探索を行うことが推奨されます。
• 有害なコンテンツの生成：コンテンツセーフティのためのメカニズムとガイドラインが不可欠です。開発者は、特定の製品ポリシーとアプリケーションのユースケースに基づいて、適切なコンテンツセーフティ対策を実装するように注意を払うことが推奨されます。
• 悪意のある目的での誤用：技術的な制限と開発者およびエンドユーザーの教育は、LLMの悪意のあるアプリケーションに対する緩和策に役立つ可能性があります。ユーザーが誤用を報告するための教育リソースと報告メカニズムが提供されています。Gemmaモデルの禁止使用法は、[Gemma Prohibited Use Policy][prohibited-use] に概説されています。
• プライバシー侵害：モデルは、個人識別情報（PII）を削除するためにフィルタリングされたデータでトレーニングされています。開発者は、プライバシー保護技術を使用してプライバシー規制に準拠することが推奨されます。