Ganymede Llama 3.3 3B Preview

🚀 Ganymede-Llama-3.3-3B-Preview

Ganymede-Llama-3.3-3B-Preview 基於 Llama-3.2-3B-Instruct 架構，具備 解鎖的深度推理 能力和 改進的數學分析 能力。它在源自 Llama Instruct 系列的高質量合成數據集上進行了微調，在 思維鏈（CoT）推理、邏輯問題解決和結構化數據理解 方面表現出色。該模型適用於複雜的推理任務、指令遵循和文本生成，在 多輪對話和長上下文任務 中具有卓越的適應性。

✨ 主要特性

1. 解鎖的深度推理：增強了 多步問題解決、邏輯演繹和上下文分析 能力。
2. 卓越的數學與分析能力：在 數學問題解決、定理證明和複雜數值分析 方面能力更強。
3. 微調後的指令遵循：能夠生成結構化響應（如 JSON、XML、Markdown）和 長文本（4K+ 標記）。
4. 擴展的長上下文支持：能夠處理多達 128K 標記，在長文本段落中具有更好的內存保留和連貫性。
5. 高級適應性：在 角色扮演、多輪對話和多樣化系統提示 方面表現出色。
6. 多語言能力：支持超過 20 種語言，包括 英語、中文、法語、西班牙語、葡萄牙語、德語等。

🚀 快速開始

使用 Transformers 庫快速開始

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "prithivMLmods/Ganymede-Llama-3.3-3B-Preview"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Explain the concept of logical reasoning in AI."
messages = [
    {"role": "system", "content": "You are an expert AI assistant specialized in reasoning, logic, and mathematical analysis."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=256
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

📚 詳細文檔

預期用途

• 高級邏輯與分析推理：專為 多步問題解決、演繹推理和認知任務 而設計。
• 增強的數學計算：在 數值分析、定理證明、符號推理和複雜計算 方面表現出色。
• 代碼生成與調試：生成 優化代碼，檢測 漏洞，並優化 編程工作流程。
• 結構化數據處理：處理 表格、JSON 和結構化格式，適用於以數據為中心的應用程序。
• 多語言推理與翻譯：在 20 多種語言 方面具有高度熟練度，適用於 全球人工智能應用。
• 擴展文本生成：非常適合生成 技術文檔、研究論文、使用指南和深入報告。

侷限性

1. 適度的計算要求：需要 中高端消費級 GPU 才能實現最佳推理效果。
2. 特定語言的差異：不同語言的性能可能有所不同，特別是對於 低資源語言。
3. 潛在的錯誤累積：長文本生成可能會在擴展輸出中引入 不一致性。
4. 有限的現實世界認知：知識僅限於 訓練數據，可能無法反映 近期世界事件。
5. 提示敏感性：響應的質量取決於 提示的清晰度和特異性。

📄 許可證

本模型使用的許可證為 llama3.2。