Sarvam 1

🚀 Sarvam-1

Sarvam-1是一款擁有20億參數的語言模型，專為印度語言進行了優化。與Gemma - 2 - 2B和Llama - 3.2 - 3B等流行模型相比，它在10種印度語言（孟加拉語、古吉拉特語、印地語、卡納達語、馬拉雅拉姆語、馬拉地語、奧里亞語、旁遮普語、泰米爾語、泰盧固語）中表現卓越。在這些語言方面，它甚至能與Llama - 3.1 - 8B等更大的模型相抗衡。更多詳細信息可查看我們的發佈博客。

該模型使用NVIDIA NeMo™框架，在Yotta Shakti雲的HGX H100系統上進行訓練。

注意：這是一個文本補全模型，旨在針對下游任務進行微調，不能直接用作聊天或遵循指令的模型。

✨ 主要特性

• 針對10種印度語言優化：從底層構建，支持主要的印度語言和英語。
• 卓越的令牌效率：在所有支持的語言中，生育力（fertility rates）達到1.4 - 2.1，比現有的多語言模型效率高2 - 4倍。
• 高質量的訓練數據：在約4萬億令牌的精選語料庫上進行訓練，其中包含2萬億高質量的印度語言令牌。
• 高效推理：與更大的模型相比，推理速度快4 - 6倍，同時在印度語言任務上達到或超過它們的性能。

📚 詳細文檔

模型架構

性能

翻譯後的學術基準測試（零樣本）

• MMLU：44.44
• ARC - Challenge：58.50
• TriviaQA：90.62
• BoolQ：80.68

IndicGenBench（單樣本）

• Flores英語到印度語言翻譯：39.83 chrF++
• CrossSum：20.48 chrF++
• XORQA：25.27 F1
• XQUAD：41.58 F1

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

# Load model and tokenizer
model = AutoModelForCausalLM.from_pretrained("sarvamai/sarvam-1")
tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-1")

# Example usage
text = "कर्नाटक की राजधानी है:"
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=5)
result = tokenizer.decode(outputs[0])

🔧 技術細節

訓練詳情

• 訓練基礎設施：Yotta的Shakti集群
• 硬件：1,024個GPU
• 訓練時長：5天
• 框架：NVIDIA NeMo

📄 許可證

Sarvam非商業許可證：請參閱LICENSE文件

致謝

• NVIDIA：提供NeMo代碼庫支持
• Yotta：提供Shakti GPU集群訪問權限
• AI4Bharat：提供學術合作和印度語言技術專業知識