Gams 27B Instruct

🚀 GaMS-27B-Instruct モデルカード

GaMS-2B、GaMS-9B、GaMS-27Bは、GaMS（スロベニア語用生成モデル）ファミリーの新しい改良版で、より大規模なモデルです。これらのモデルはGoogleのGemma 2ファミリーをベースに、スロベニア語、英語、そして一部のクロアチア語、セルビア語、ボスニア語のコーパスで継続的に事前学習されています。

これはGaMS-27BモデルのSFTバージョンです。

🚀 クイックスタート

このモデルは、以下のコードを使用してpipeline APIを通じて実行できます。

from transformers import pipeline

model_id = "cjvt/GaMS-27B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="cuda" # Macデバイスで実行する場合は "mps" に置き換える
)

# 応答生成の例
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pline(message, max_new_tokens=512)
print("Model's response:", response[0]["generated_text"][-1]["content"])

# 会話チェーンの例
new_message = response[0]["generated_text"]
new_message.append({"role": "user", "content": "Lahko bolj podrobno opišeš ta dogodek?"})
response = pline(new_message, max_new_tokens=1024)
print("Model's response:", response[0]["generated_text"][-1]["content"])

マルチGPU推論を行う場合は、device_mapをautoに設定します。

from transformers import pipeline

model_id = "cjvt/GaMS-27B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="auto"
)

# 応答生成の例
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pline(message, max_new_tokens=512)
print("Model's response:", response[0]["generated_text"][-1]["content"])

# 会話チェーンの例
new_message = response[0]["generated_text"]
new_message.append({"role": "user", "content": "Lahko bolj podrobno opišeš ta dogodek?"})
response = pline(new_message, max_new_tokens=1024)
print("Model's response:", response[0]["generated_text"][-1]["content"])

✨ 主な機能

GaMS-2B、GaMS-9B、GaMS-27Bは、GaMSファミリーの新しい改良版モデルで、Gemma 2ファミリーをベースに複数言語のコーパスで事前学習されています。このモデルは、テキスト生成、会話AI、テキスト要約など、様々な自然言語処理タスクに対応しています。

📦 インストール

このモデルは、transformersライブラリを使用して実行できます。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline

model_id = "cjvt/GaMS-27B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="cuda" # Macデバイスで実行する場合は "mps" に置き換える
)

# 応答生成の例
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pline(message, max_new_tokens=512)
print("Model's response:", response[0]["generated_text"][-1]["content"])

高度な使用法

# マルチGPU推論の例
from transformers import pipeline

model_id = "cjvt/GaMS-27B-Instruct"

pline = pipeline(
    "text-generation",
    model=model_id,
    device_map="auto"
)

# 応答生成の例
message = [{"role": "user", "content": "Kateri je najpomembnejši dogodek v slovenski zgodovini?"}]
response = pline(message, max_new_tokens=512)
print("Model's response:", response[0]["generated_text"][-1]["content"])

# 会話チェーンの例
new_message = response[0]["generated_text"]
new_message.append({"role": "user", "content": "Lahko bolj podrobno opišeš ta dogodek?"})
response = pline(new_message, max_new_tokens=1024)
print("Model's response:", response[0]["generated_text"][-1]["content"])

📚 ドキュメント

基本情報

データ

CPTデータ

モデルは2段階で継続的に事前学習されました。最初の段階では、英語とスロベニア語（場合によってはクロアチア語）の並列コーパスを使用して言語をアラインメントしました。2段階目では、英語、スロベニア語、クロアチア語、ボスニア語、セルビア語の個別のコーパスで学習しました。

並列アラインメントコーパス

各アラインメントレベルの説明:

• 文書レベル: 並列文書を1つの文書に連結
• 個別文書: 並列文書を明示的にアラインメントしない
• 段落レベル: 並列文書の段落を連結（スロベニア語/英語文書の最初の段落の後に、もう一方の言語の最初の段落が続き、その後に最初の言語の2番目の段落が続くなど）

2段階目のコーパス

注記:

• MetaFidaからは、dgt15_sl、classlawiki_sl、tweet_sl、janes_tweet、janes_forum、janes_newsのコーパスが除外されました。
• セルビア語のウィキペディアは、キリル文字からラテン文字に変換されました。

SFTデータ

SFTのトレーニングデータは、約25,000のトレーニング例と1,500の検証例で構成されています。このデータセットは、以下のデータセットの混合物です。

• GaMS-Instruct-GEN 1.0
• GaMS-Instruct-DH 1.0: このデータセットから3,000のランダムな例が選択されました。
• GaMS-Instruct-MED 1.0: このデータセットから3,000のランダムな例が選択されました。
• Parallel corpus EN-SL RSDO4 2.0: このコーパスに対して追加のフィルタリングが行われました。まず、NeMo Curatorを使用してFastText言語識別を実行し、ソースが英語、ターゲットがスロベニア語と検出された例のみを保持しました。次に、COMETモデルを実行して翻訳を評価し、COMETスコアが0.945より高い例のみを保持しました（約8,000例）。
• Aya Dataset: このデータセットからは、英語とセルビア語の例のみが取得されました。セルビア語の例は、キリル文字からラテン文字に変換されました。
• Math competitions: 2001年から2010年のスロベニアの全国数学コンペティションのPDFを取得しました。olmOCRを使用してPDFからテキストを抽出し、手動で修正しました。これにより、約150の解決済みの数学問題が得られました。

トレーニング

モデルは、Leonardo HPCのBoosterパーティションでトレーニングされました。

CPT

モデルは、NVIDIA NeMo 2.0フレームワークを使用して継続的に事前学習されました。モデルは、8つのGPUでテンソル並列、シーケンス並列、およびアクティベーション再計算を使用して、BF16混合精度でトレーニングされました。モデルは、各ノードに4つのA100 64GB GPUが搭載された32ノードでトレーニングされました。並列アラインメントトレーニングには約8時間、2段階目には約110時間かかりました。

モデルは、線形ウォームアップ付きのコサイン学習率スケジューラを使用してトレーニングされ、以下のハイパーパラメータが使用されました。

並列アラインメント:

• ウォームアップステップ: 150
• 最小学習率: 5e-6
• 最大学習率: 2e-5
• 定数ステップ: 0
• バッチサイズ: 512 (400万トークン)

2段階目:

• ウォームアップステップ: 500
• 最小学習率: 5e-6
• 最大学習率: 5e-5
• 定数ステップ: 100
• バッチサイズ: 512 (400万トークン)

SFT

2Bおよび9Bモデルとは対照的に、27BはNeMoフレームワークを使用して教師付き微調整され、スケーリングが容易になります。モデルは、4つのGPUに分割するためにテンソル並列、シーケンス並列、およびアクティベーション再計算を使用して、BF16精度でトレーニングされました。モデルは、4つのA100 64GB GPUを搭載した8ノードでトレーニングされました。

モデルは、線形ウォームアップ付きのコサイン学習率スケジューラを使用して調整され、以下のハイパーパラメータが使用されました。

• エポック数: 5エポックでトレーニングされましたが、検証損失に基づいて最良のパフォーマンスを示すモデルは2エポック後に得られたため、そのモデルを保持しました。
• バッチサイズ: 128
• ウォームアップステップ: 150
• 最小学習率: 1e-8
• 最大学習率: 5e-6
• 定数ステップ: 0

評価

モデルは、Slovene SuperGLUEの分類タスクコレクションを使用して、SloBenchで評価されました。モデルのInstructバージョンは、英語からスロベニア語への翻訳およびスロベニア語から英語への翻訳についても評価されました。さらに、モデルはSlovenian-LLM-Evalで評価されました。

評価用のコード:

• SloBenchタスク
• Slovenian-LLM-Eval

Slovenian-LLM-Evalの結果

GaMSモデル、ベースのGemma 2モデル、およびSlovenianGPT（Mistral 7Bをベースとしたスロベニア語用オープンソースモデル）の比較を以下の図に示します。すべてのモデルは、0ショットシナリオで評価されました。

Slobenchの結果

GaMS 2B、9B、27B、および27B-Instructモデルは、MultiRCおよび翻訳タスクを除いて、3ショットシナリオで評価されました。MultiRCおよび翻訳タスクでは、0ショットが使用されました。GaMS-2B-InstructおよびGaMS-9B-Instructは、すべてのタスクで0ショットシナリオで評価されました。応答の正しい形式を確保するために、ガイド付きデコーディングが使用されました。

スロベニア語SuperGLUE

英語からスロベニア語への翻訳 (ベンチマークの上位11モデル)

スロベニア語から英語への翻訳 (ベンチマークの上位10モデル)

使用法と制限 (Gemma 2から引用)

これらのモデルには、ユーザーが認識すべき特定の制限があります。

意図された使用法

オープンな大規模言語モデル（LLM）は、様々な産業やドメインで幅広いアプリケーションを持っています。以下の潜在的な使用例のリストは網羅的ではありません。このリストの目的は、モデルの作成者がモデルのトレーニングと開発の一環として考慮した可能なユースケースに関するコンテキスト情報を提供することです。

• コンテンツ作成とコミュニケーション
  • テキスト生成: これらのモデルは、詩、脚本、コード、マーケティングコピー、メール草稿などの創造的なテキスト形式を生成するために使用できます。
  • チャットボットと会話型AI: カスタマーサービス、バーチャルアシスタント、またはインタラクティブなアプリケーションの会話型インターフェースを提供します。
  • テキスト要約: テキストコーパス、研究論文、またはレポートの簡潔な要約を生成します。
• 研究と教育
  • 自然言語処理（NLP）研究: これらのモデルは、研究者がNLP技術を実験し、アルゴリズムを開発し、分野の進歩に貢献するための基盤として機能します。
  • 言語学習ツール: インタラクティブな言語学習体験をサポートし、文法修正や執筆練習を支援します。
  • 知識探索: 研究者が大規模なテキストを探索するのを支援し、要約を生成したり、特定のトピックに関する質問に回答したりします。

制限

• トレーニングデータ
  • トレーニングデータの品質と多様性は、モデルの能力に大きな影響を与えます。トレーニングデータのバイアスやギャップは、モデルの応答に制限をもたらす可能性があります。
  • トレーニングデータセットの範囲は、モデルが効果的に扱うことができる主題領域を決定します。
• コンテキストとタスクの複雑さ
  • LLMは、明確なプロンプトと指示で構成できるタスクでより優れたパフォーマンスを発揮します。オープンエンドまたは非常に複雑なタスクは、困難を伴う可能性があります。
  • モデルのパフォーマンスは、提供されるコンテキストの量に影響される可能性があります（長いコンテキストは、ある程度までは一般的により良い出力をもたらします）。
• 言語の曖昧さとニュアンス
  • 自然言語は本質的に複雑です。LLMは、微妙なニュアンス、皮肉、または比喩的な言語を理解するのに苦労する可能性があります。
• 事実の正確性
  • LLMは、トレーニングデータセットから学習した情報に基づいて応答を生成しますが、知識ベースではありません。誤ったまたは古い事実陳述を生成する可能性があります。
• 常識
  • LLMは言語の統計的パターンに依存しています。特定の状況で常識的な推論を適用する能力が欠けている可能性があります。

倫理的な考慮事項とリスク

大規模言語モデル（LLM）の開発には、いくつかの倫理的な懸念が生じます。オープンモデルを作成する際に、我々は慎重に対応しています。

謝辞

このモデルは、PoVeJMo研究プログラム（大規模言語モデルを用いた適応的自然言語処理）の中で開発されました。特に、SloLLaMaiという研究プロジェクト（スロベニア語用のオープンアクセスで計算効率の高いモデル）の中で開発されました。このプログラムは、スロベニア研究開発庁（ARIS）とNextGenerationEUによる回復とレジリエンス計画の中で資金提供を受けています。著者らはまた、スロベニア研究開発庁からの財政支援（研究基盤資金第P6 - 0411号 - スロベニア語の言語資源と技術）に感謝します。

データ収集と準備に取り組み、我々がモデルをトレーニングできるようにしてくれたすべての人に感謝します。特に、Nikola Ljubešić、Taja Kuzman、Tjaša Arčon、Jaka Čibej、Simon Krek、Tomaž Erjavec、Iztok Kosem、Tomaž Savodnikに感謝します。

📄 ライセンス

このモデルは、Gemmaライセンスの下で提供されています。