Saanvi C0 12B

🚀 Saanvi-C0-12B 🤖⚡

Saanvi-C0-12B是一款經過優化的下一代120億參數大語言模型，具備出色的速度、效率和上下文準確性。它採用了基於檢索增強生成（RAG）的增強技術、4位量化、Flash Attention 2、bfloat16以及128k上下文窗口等先進技術。

🚀 快速開始

以下是使用Saanvi-C0-12B模型進行文本生成的示例代碼：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "riple-saanvi-lab/Saanvi-C0-12B"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="bfloat16", device_map="auto")

while True:
    user_input = input("\n👤 You: ").strip()
    if user_input.lower() == "exit":
        break
    inputs = tokenizer(user_input, return_tensors="pt").to(model.device)
    output = model.generate(**inputs, max_length=2048, do_sample=True)
    print("🤖 AI:", tokenizer.decode(output[0], skip_special_tokens=True))

✨ 主要特性

性能飛躍

Saanvi-C0-12B相較於小模型在能力上有了巨大的飛躍，在保持高效的同時，顯著提升了推理能力、流暢性、任務完成能力和數學計算能力。

特性與優勢

為中端GPU優化

• 可在顯存8GB以上的中端GPU上運行（如RTX 3050、RTX 2060等）。
• 比30億參數模型更強大，具有更好的上下文保留和指令遵循能力。
• 4位量化 在不犧牲質量的前提下，最大限度地減少了顯存使用。

📦 安裝指南

使用以下命令安裝所需的依賴庫：

pip install torch transformers

📊 基準測試

A100-40GB性能

中端GPU（RTX 3050、RTX 2060、RTX 3060 12GB）性能

• 顯存使用：約8.2GB（單批次）
• 速度：約10 - 15 tok/秒
• 最佳實踐：為獲得最佳性能，請使用 較小的批次大小。

📄 許可證

本項目採用 Apache 2.0許可證。有關詳細信息，請參閱 LICENSE 文件。

💡 使用建議

為了 獲得最高效率，建議在高端GPU上使用 torch.compile() 和CUDA圖！