Gemma 2 9b Neogenesis Ita

🚀 Gemma 2 9B Neogenesis ITA

このモデルは、VAGOsolutions/SauerkrautLM-gemma-2-9b-it をファインチューニングしたもので、イタリア語での性能を最適化しています。

• 92.4億のパラメータを持つ良質なモデル
• 8kのコンテキスト長をサポート

GGUF quants

より小さなモデルが必要ですか？ gemma-2-2b-neogenesis-ita を試してみてください。

🚀 クイックスタート

💬🇮🇹 Hugging Face Spaces でモデルを試す

✨ 主な機能

• 92.4億のパラメータを持ち、高性能な言語モデルです。
• 8kのコンテキスト長をサポートし、長文の処理が可能です。
• イタリア語での性能が最適化されています。

📦 インストール

このセクションでは、原READMEにインストール手順が記載されていないため、省略します。

💻 使用例

基本的な使用法

import torch
from transformers import pipeline

model_id="anakin87/gemma-2-9b-neogenesis-ita"

pipe = pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda",
)

messages = [{"role": "user", "content": "Cos'è l'interesse composto? Spiega in maniera semplice e chiara."}]
outputs = pipe(messages, max_new_tokens=500)

print(outputs[0]["generated_text"][1]["content"])

高度な使用法

このセクションでは、原READMEに高度な使用法の説明がないため、省略します。

📚 ドキュメント

🏆 評価結果

このモデルは、イタリア語の言語モデルに関する人気のあるリーダーボードである Open Ita LLM Leaderboard に提出され、評価されました。

これらの結果から、このモデルはイタリア語において強力な9Bモデルとして位置付けられ、13 - 14Bのモデルを上回り、30 - 70Bの範囲の一部のモデルを超える性能を発揮しています。

🔧 技術詳細

このモデルは、Hugging Face TRL を使用してファインチューニングされ、Direct Preference Optimization が適用されています。

パラメータ効率的な学習のために、比較的新しい手法である Spectrum を採用しています。この手法では、Signal-to-Noise Ratio (SNR) が高いモデルのレイヤーのみを学習させ、残りのレイヤーを凍結（❄️）します。具体的には、最も情報量の多い上位20%のレイヤーに焦点を当てて学習を行っています。

バッチサイズ: 16; 学習率: 1e-6; エポック数: 1。

学習プロセスは、単一のNVIDIA A100 GPU (80GB VRAM) で約12時間かかりました。

学習コードについては、この 📓 Kaggle notebook のDPOセクションを参照してください。このノートブックは、異なるベースモデル、ハイパーパラメータを使用し、オンポリシーデータを使用しないように修正されています。

🗃️ 学習データ

このモデルは主にイタリア語のデータで学習され、一部に英語のデータも含まれています。

Direct Preference Optimization用のデータ:

• イタリア語データ
  • mii-llm/argilla-math-preferences-it
  • ruggsea/wsdm2024-cot-dataset
  • anakin87/evol-dpo-ita-reranked
• 英語データ
  • mlabonne/orpo-dpo-mix-40k

🙏 これらのデータセットを提供してくれた著者の皆さんに感謝します。

🛡️ 安全性

このモデルは安全性に特化してファインチューニングされていませんが、Spectrum手法による選択的な学習により、元のモデルの一定の安全性機能が維持されています。

📄 ライセンス

ライセンス情報: gemma