Nu2 Lupi Qwen 14B

🚀 Nu2-Lupi-Qwen-14B

Nu2-Lupi-Qwen-14B基於Qwen 2.5 14B模態架構，旨在增強數學推理能力。該模型針對複雜問題解決、邏輯推導和多步數學推理進行了優化。它使用 gsm8k-platinum 數據集進行了微調，以提高在數學領域的準確性、結構化響應和上下文理解能力。

🚀 快速開始

以下是使用 apply_chat_template 加載分詞器和模型並生成內容的代碼片段：

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "prithivMLmods/Nu2-Lupi-Qwen-14B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Solve the equation: 3x + 5 = 14."
messages = [
    {"role": "system", "content": "You are a mathematical reasoning assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主要特性

1. 增強的數學能力：該模型擅長解決複雜的數學問題，包括代數、微積分和數論。
2. 高級推理能力：針對逐步解決問題進行了優化，能夠為數學查詢提供清晰、邏輯的解釋。
3. 改進的指令遵循：能夠精確理解和執行多步指令，確保輸出結構清晰、連貫。
4. 長上下文支持：支持最多128K個輸入上下文標記，並能在單次輸出中生成最多8K個標記，非常適合詳細的問題拆解。
5. 多語言數學推理：支持超過29種語言，包括英語、中文、法語、西班牙語、葡萄牙語、德語、意大利語、俄語、日語、韓語、越南語、泰語、阿拉伯語等。

📚 詳細文檔

預期用途

1. 數學推理與問題解決：針對高精度數學問題解決進行了微調，包括代數、幾何、微積分和邏輯謎題。
2. 教育與學術輔助：非常適合尋求結構化解釋和逐步解決方案的學生、教育工作者和研究人員。
3. 專注數學的對話式AI：支持需要數學理解和動態響應生成的智能聊天機器人應用。
4. 數據科學與分析處理：能夠分析數學數據集，生成結構化的數值見解，並協助自動化處理。
5. 長篇數學內容生成：能夠生成詳細的問題拆解、數學報告和基於研究的內容，且連貫性高。

侷限性

1. 硬件要求：由於其參數規模大且支持長上下文，需要高內存的GPU或TPU。
2. 響應中的潛在偏差：雖然進行了準確性微調，但輸出仍可能反映訓練數據中存在的偏差。
3. 創造性輸出不一致：在處理抽象或理論性數學概念時，可能會產生不同的結果。
4. 有限的現實世界認知：無法獲取其訓練截止日期之後的即時數學發現。
5. 長輸出中的錯誤傳播：早期步驟中的小計算錯誤可能會影響長篇響應中的整體問題解決方案。
6. 提示敏感性：響應的有效性可能取決於輸入提示中數學問題的結構化程度。

📄 許可證

該模型採用Apache-2.0許可證。

信息表格