模型概述
模型特點
模型能力
使用案例
🚀 運行與微調Qwen3模型
本項目提供了使用Unsloth對Qwen3模型進行運行和微調的相關工具與指南。Qwen3是Qwen系列的最新一代大語言模型,在推理、指令遵循、代理能力和多語言支持等方面取得了突破性進展。
項目相關鏈接
- 查看所有版本的Qwen3(包括GGUF、4位和16位格式):我們的集合
- 學習正確運行Qwen3:閱讀我們的指南
- Unsloth Dynamic 2.0:實現卓越的準確性並優於其他領先的量化方法
社區與文檔鏈接
項目優勢
- 免費微調:可使用我們的Google Colab筆記本免費微調Qwen3 (14B)。
- 博客文章:閱讀我們關於Qwen3支持的博客。
- 更多筆記本:查看我們的其他筆記本。
- 模型導出:可將微調後的模型運行並導出到Ollama、llama.cpp或HF。
Unsloth支持的模型及性能
支持的模型 | 免費筆記本 | 性能 | 內存使用 |
---|---|---|---|
Qwen3 (14B) | ▶️ 在Colab上開始 | 快3倍 | 減少70% |
GRPO with Qwen3 (8B) | ▶️ 在Colab上開始 | 快3倍 | 減少80% |
Llama-3.2 (3B) | ▶️ 在Colab上開始 | 快2.4倍 | 減少58% |
Llama-3.2 (11B vision) | ▶️ 在Colab上開始 | 快2倍 | 減少60% |
Qwen2.5 (7B) | ▶️ 在Colab上開始 | 快2倍 | 減少50% |
Phi-4 (14B) | ▶️ 在Colab上開始 | 快2倍 | 減少50% |
思維模式切換
如果使用llama.cpp、Ollama、Open WebUI等,可在用戶提示或系統消息中添加/think
和/no_think
來逐輪切換模型的思維模式。在多輪對話中,模型將遵循最新的指令。
以下是一個多輪對話示例:
> Who are you /no_think
<think>
</think>
I am Qwen, a large-scale language model developed by Alibaba Cloud. [...]
> How many 'r's are in 'strawberries'? /think
<think>
Okay, let's see. The user is asking how many times the letter 'r' appears in the word "strawberries". [...]
</think>
The word strawberries contains 3 instances of the letter r. [...]
📦 Qwen3-0.6B模型介紹
Qwen3亮點
Qwen3是Qwen系列的最新一代大語言模型,提供了一系列密集模型和專家混合(MoE)模型。經過大量訓練,Qwen3在推理、指令遵循、代理能力和多語言支持方面取得了突破性進展,具有以下關鍵特性:
- 獨特的思維模式切換:單個模型可無縫切換思維模式(用於複雜邏輯推理、數學和編碼)和非思維模式(用於高效的通用對話),確保在各種場景下都能實現最佳性能。
- 強大的推理能力:在數學、代碼生成和常識邏輯推理方面,其推理能力顯著增強,在思維模式下超越了之前的QwQ,在非思維模式下超越了Qwen2.5指令模型。
- 高度的人類偏好對齊:在創意寫作、角色扮演、多輪對話和指令遵循方面表現出色,提供更自然、引人入勝和沉浸式的對話體驗。
- 卓越的代理能力:在思維和非思維模式下都能與外部工具精確集成,在複雜的基於代理的任務中在開源模型中取得領先性能。
- 廣泛的多語言支持:支持100多種語言和方言,具有強大的多語言指令遵循和翻譯能力。
模型概述
Qwen3-0.6B 具有以下特點:
屬性 | 詳情 |
---|---|
模型類型 | 因果語言模型 |
訓練階段 | 預訓練和後訓練 |
參數數量 | 0.6B |
非嵌入參數數量 | 0.44B |
層數 | 28 |
注意力頭數量(GQA) | Q為16,KV為8 |
上下文長度 | 32,768 |
更多詳細信息,包括基準評估、硬件要求和推理性能,請參考博客、GitHub和文檔。
🚀 快速開始
Qwen3的代碼已集成到最新的Hugging Face transformers
庫中,建議使用最新版本的 transformers
。
若使用 transformers<4.51.0
,會遇到以下錯誤:
KeyError: 'qwen3'
以下是一個代碼片段,展示瞭如何使用模型根據給定輸入生成內容:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Qwen/Qwen3-0.6B"
# 加載分詞器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
# 準備模型輸入
prompt = "Give me a short introduction to large language model."
messages = [
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
enable_thinking=True # 在思維和非思維模式之間切換。默認為True。
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
# 進行文本生成
generated_ids = model.generate(
**model_inputs,
max_new_tokens=32768
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
# 解析思維內容
try:
# rindex查找151668 (</think>)
index = len(output_ids) - output_ids[::-1].index(151668)
except ValueError:
index = 0
thinking_content = tokenizer.decode(output_ids[:index], skip_special_tokens=True).strip("\n")
content = tokenizer.decode(output_ids[index:], skip_special_tokens=True).strip("\n")
print("thinking content:", thinking_content)
print("content:", content)
對於部署,可以使用 vllm>=0.8.5
或 sglang>=0.4.5.post2
創建與OpenAI兼容的API端點:
- vLLM:
vllm serve Qwen/Qwen3-0.6B --enable-reasoning --reasoning-parser deepseek_r1
- SGLang:
python -m sglang.launch_server --model-path Qwen/Qwen3-0.6B --reasoning-parser deepseek-r1
💻 思維模式切換使用示例
基礎用法
啟用思維模式(enable_thinking=True
)
默認情況下,Qwen3啟用了思維能力,類似於QwQ-32B。這意味著模型將使用其推理能力來提高生成響應的質量。例如,在 tokenizer.apply_chat_template
中顯式設置 enable_thinking=True
或保留默認值時,模型將進入思維模式。
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
enable_thinking=True # enable_thinking的默認值為True
)
在這種模式下,模型將生成包裹在 <think>...</think>
塊中的思維內容,然後是最終響應。
⚠️ 重要提示
對於思維模式,使用
Temperature=0.6
、TopP=0.95
、TopK=20
和MinP=0
(generation_config.json
中的默認設置)。請勿使用貪婪解碼,因為這可能導致性能下降和無限重複。更多詳細指導,請參考最佳實踐部分。
禁用思維模式(enable_thinking=False
)
提供了一個硬開關來嚴格禁用模型的思維行為,使其功能與之前的Qwen2.5-Instruct模型保持一致。這種模式在需要禁用思維以提高效率的場景中特別有用。
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
enable_thinking=False # 設置enable_thinking=False可禁用思維模式
)
在這種模式下,模型將不會生成任何思維內容,也不會包含 <think>...</think>
塊。
⚠️ 重要提示
對於非思維模式,建議使用
Temperature=0.7
、TopP=0.8
、TopK=20
和MinP=0
。更多詳細指導,請參考最佳實踐部分。
高級用法:通過用戶輸入切換思維模式
提供了一個軟開關機制,允許用戶在 enable_thinking=True
時動態控制模型的行為。具體來說,可以在用戶提示或系統消息中添加 /think
和 /no_think
來逐輪切換模型的思維模式。在多輪對話中,模型將遵循最新的指令。
以下是一個多輪對話的示例:
from transformers import AutoModelForCausalLM, AutoTokenizer
class QwenChatbot:
def __init__(self, model_name="Qwen/Qwen3-0.6B"):
self.tokenizer = AutoTokenizer.from_pretrained(model_name)
self.model = AutoModelForCausalLM.from_pretrained(model_name)
self.history = []
def generate_response(self, user_input):
messages = self.history + [{"role": "user", "content": user_input}]
text = self.tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
inputs = self.tokenizer(text, return_tensors="pt")
response_ids = self.model.generate(**inputs, max_new_tokens=32768)[0][len(inputs.input_ids[0]):].tolist()
response = self.tokenizer.decode(response_ids, skip_special_tokens=True)
# 更新歷史記錄
self.history.append({"role": "user", "content": user_input})
self.history.append({"role": "assistant", "content": response})
return response
# 示例用法
if __name__ == "__main__":
chatbot = QwenChatbot()
# 第一次輸入(無/think或/no_think標籤,默認啟用思維模式)
user_input_1 = "How many r's in strawberries?"
print(f"User: {user_input_1}")
response_1 = chatbot.generate_response(user_input_1)
print(f"Bot: {response_1}")
print("----------------------")
# 第二次輸入,帶有/no_think
user_input_2 = "Then, how many r's in blueberries? /no_think"
print(f"User: {user_input_2}")
response_2 = chatbot.generate_response(user_input_2)
print(f"Bot: {response_2}")
print("----------------------")
# 第三次輸入,帶有/think
user_input_3 = "Really? /think"
print(f"User: {user_input_3}")
response_3 = chatbot.generate_response(user_input_3)
print(f"Bot: {response_3}")
⚠️ 重要提示
對於API兼容性,當
enable_thinking=True
時,無論用戶是否使用/think
或/no_think
,模型都會輸出一個包裹在<think>...</think>
中的塊。但是,如果禁用了思維,這個塊內的內容可能為空。當enable_thinking=False
時,軟開關無效。無論用戶輸入任何/think
或/no_think
標籤,模型都不會生成思維內容,也不會包含<think>...</think>
塊。
💻 代理使用示例
Qwen3在工具調用能力方面表現出色。建議使用 Qwen-Agent 來充分發揮Qwen3的代理能力。Qwen-Agent內部封裝了工具調用模板和工具調用解析器,大大降低了編碼複雜度。
要定義可用工具,可以使用MCP配置文件、使用Qwen-Agent的集成工具或自行集成其他工具。
from qwen_agent.agents import Assistant
# 定義大語言模型
llm_cfg = {
'model': 'Qwen3-0.6B',
# 使用阿里雲模型工作室提供的端點:
# 'model_type': 'qwen_dashscope',
# 'api_key': os.getenv('DASHSCOPE_API_KEY'),
# 使用與OpenAI API兼容的自定義端點:
'model_server': 'http://localhost:8000/v1', # api_base
'api_key': 'EMPTY',
# 其他參數:
# 'generate_cfg': {
# # 添加:當響應內容為 `<think>this is the thought</think>this is the answer;
# # 不添加:當響應已由reasoning_content和content分隔時。
# 'thought_in_content': True,
# },
}
# 定義工具
tools = [
{'mcpServers': { # 可以指定MCP配置文件
'time': {
'command': 'uvx',
'args': ['mcp-server-time', '--local-timezone=Asia/Shanghai']
},
"fetch": {
"command": "uvx",
"args": ["mcp-server-fetch"]
}
}
},
'code_interpreter', # 內置工具
]
# 定義代理
bot = Assistant(llm=llm_cfg, function_list=tools)
# 流式生成
messages = [{'role': 'user', 'content': 'https://qwenlm.github.io/blog/ Introduce the latest developments of Qwen'}]
for responses in bot.run(messages=messages):
pass
print(responses)
🔧 最佳實踐
為了實現最佳性能,建議進行以下設置:
- 採樣參數:
- 對於思維模式(
enable_thinking=True
),使用Temperature=0.6
、TopP=0.95
、TopK=20
和MinP=0
。請勿使用貪婪解碼,因為這可能導致性能下降和無限重複。 - 對於非思維模式(
enable_thinking=False
),建議使用Temperature=0.7
、TopP=0.8
、TopK=20
和MinP=0
。 - 對於支持的框架,可以在0到2之間調整
presence_penalty
參數以減少無限重複。但是,使用較高的值可能偶爾會導致語言混合和模型性能略有下降。
- 對於思維模式(
- 足夠的輸出長度:對於大多數查詢,建議使用32,768個標記的輸出長度。對於高度複雜問題的基準測試,如數學和編程競賽中的問題,建議將最大輸出長度設置為38,912個標記。這為模型提供了足夠的空間來生成詳細和全面的響應,從而提高其整體性能。
- 標準化輸出格式:在進行基準測試時,建議使用提示來標準化模型輸出。
- 數學問題:在提示中包含 "Please reason step by step, and put your final answer within \boxed{}."。
- 多項選擇題:在提示中添加以下JSON結構以標準化響應:"Please show your choice in the
answer
field with only the choice letter, e.g.,"answer": "C"
."
- 歷史記錄中不包含思維內容:在多輪對話中,歷史模型輸出應僅包括最終輸出部分,不需要包括思維內容。這在提供的Jinja2聊天模板中已經實現。但是,對於不直接使用Jinja2聊天模板的框架,開發者需要確保遵循最佳實踐。
引用
如果您認為我們的工作有幫助,請引用:
@misc{qwen3,
title = {Qwen3},
url = {https://qwenlm.github.io/blog/qwen3/},
author = {Qwen Team},
month = {April},
year = {2025}
}
📄 許可證
本項目遵循 Apache-2.0許可證。



