Sarvam 1

🚀 Sarvam-1

Sarvam-1は、インドの言語に特化して最適化された20億パラメータの言語モデルです。Gemma-2-2BやLlama-3.2-3Bなどの人気モデルと比較して、10種類のインド言語（bn、gu、hi、kn、ml、mr、or、pa、ta、te）でクラス最高の性能を発揮します。また、Llama-3.1-8Bなどのはるかに大規模なモデルともこれらの言語で競争力を持っています。詳細は、リリースブログをご覧ください。

このモデルは、HGX H100システムを使用したYotta Shakti Cloud上で、NVIDIA NeMo™ Frameworkを用いて学習されました。

⚠️ 重要提示

これはテキスト生成モデルです。下流タスクでファインチューニングすることを想定しており、チャットモデルや命令追従モデルとして直接使用することはできません。

✨ 主な機能

• 10種類のインド言語に最適化：英語とともに主要なインド言語をサポートするように設計されています。
• 卓越したトークン効率：サポートされるすべての言語で1.4 - 2.1のトークン生成率を達成し、既存の多言語モデルよりも2 - 4倍効率的です。
• 高品質の学習データ：約4兆トークンの精選コーパスで学習され、そのうち2兆は高品質のインド言語トークンです。
• 効率的な推論：大規模モデルと同等以上の性能を維持しながら、推論速度が4 - 6倍速いです。

📚 ドキュメント

モデルアーキテクチャ

性能

翻訳学術ベンチマーク（ゼロショット）

• MMLU: 44.44
• ARC-Challenge: 58.50
• TriviaQA: 90.62
• BoolQ: 80.68

IndicGenBench（ワンショット）

• Flores英語からインド語への翻訳: 39.83 chrF++
• CrossSum: 20.48 chrF++
• XORQA: 25.27 F1
• XQUAD: 41.58 F1

学習詳細

• 学習インフラストラクチャ: YottaのShaktiクラスター
• ハードウェア: 1,024 GPU
• 学習期間: 5日
• フレームワーク: NVIDIA NeMo

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

# Load model and tokenizer
model = AutoModelForCausalLM.from_pretrained("sarvamai/sarvam-1")
tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-1")

# Example usage
text = "कर्नाटक की राजधानी है:"
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=5)
result = tokenizer.decode(outputs[0])

📄 ライセンス

Sarvam非商用ライセンス: LICENSEファイルを参照してください。

謝辞

• NVIDIA: NeMoコードベースのサポートに感謝します。
• Yotta: Shakti GPUクラスターへのアクセスを提供してくれたことに感謝します。
• AI4Bharat: 学術的なパートナーシップとインド言語技術の専門知識に感謝します。