Superthoughts Lite V2 MOE Llama3.2 GGUF

🚀 Superthoughts Lite v2 MOE Llama3.2模型

Superthoughts Lite v2 MOE Llama3.2是一款強大的文本生成模型，基於Llama-3.2架構，通過多專家（MOE）技術訓練，在多種任務上表現出色，能為用戶提供準確且高效的文本生成服務。

🚀 快速開始

使用該模型時，你需要遵循特定的系統提示格式，以確保獲得最佳的輸出效果。以下是系統提示的格式：

Thinking: enabled.

Follow this format strictly:
<think>
Write your step-by-step reasoning here.
Break down the problem into smaller parts.
Solve each part systematically.
Check your work and verify the answer makes sense.
</think>
[Your final answer after thinking].

✨ 主要特性

• 多領域適用：適用於化學、代碼、數學、對話等多個領域，具有廣泛的應用場景。
• 多專家協同：模型包含4個專家，分別負責聊天推理、數學推理、代碼推理和科學推理，能夠在不同任務上提供更準確的結果。
• 高效生成：能夠生成多達16,380個令牌，上下文大小達到131072，可處理複雜的文本生成任務。
• 性能提升：相比前代模型Pinkstack/Superthoughts-lite-v1，在代碼生成和文本性能上有顯著提升。

📦 安裝指南

文檔未提供具體安裝步驟，暫無法展示。

💻 使用示例

基礎用法

文檔未提供基礎用法的代碼示例，暫無法展示。

高級用法

文檔未提供高級用法的代碼示例，暫無法展示。

📚 詳細文檔

模型信息

模型訓練

模型的訓練過程分為兩個階段：

1. 基礎模型訓練：首先為所有專家創建一個基礎模型，使用GRPO技術在meta-llama/Llama-3.2-1B-Instruct上進行微調。
2. 專家訓練：使用SFT技術對每個潛在專家進行訓練，訓練完成後再次使用GRPO技術進行優化。

系統提示

使用該模型時，需要提供特定的系統提示，以引導模型生成思考過程和最終答案。系統提示格式如下：

Thinking: enabled.

Follow this format strictly:
<think>
Write your step-by-step reasoning here.
Break down the problem into smaller parts.
Solve each part systematically.
Check your work and verify the answer makes sense.
</think>
[Your final answer after thinking].

🔧 技術細節

模型通過多專家（MOE）技術，將不同的推理任務分配給不同的專家，從而提高模型在各個任務上的性能。在訓練過程中，使用了GRPO和SFT技術，以確保模型能夠學習到準確的推理過程。

📄 許可證

使用該模型需遵守LLAMA 3.2 COMMUNITY LICENSE。

⚠️ 重要提示

• 安全對齊有限：雖然模型進行了一定程度的安全對齊，但程度非常有限，模型有時可能會輸出未經審查的內容。
• 可能產生幻覺：所有大型語言模型（包括本模型）都可能產生幻覺並輸出虛假信息，使用時請務必仔細核對結果。
• 信息準確性：模型可能會根據自身認知編造信息，使用時請提供準確的信息。

GGUF模板

{{ if .Messages }}
{{- if or .System .Tools }}<|start_header_id|>system<|end_header_id|>
{{- if .System }}

{{ .System }}
{{- end }}
{{- if .Tools }}

You are a helpful assistant with tool calling capabilities. When you receive a tool call response, use the output to format an answer to the original use question.
{{- end }}
{{- end }}<|eot_id|>
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1 }}
{{- if eq .Role "user" }}<|start_header_id|>user<|end_header_id|>
{{- if and $.Tools $last }}

Given the following functions, please respond with a JSON for a function call with its proper arguments that best answers the given prompt.

Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}. Do not use variables.

{{ $.Tools }}
{{- end }}

{{ .Content }}<|eot_id|>{{ if $last }}<|start_header_id|>assistant<|end_header_id|>

{{ end }}
{{- else if eq .Role "assistant" }}<|start_header_id|>assistant<|end_header_id|>
{{- if .ToolCalls }}

{{- range .ToolCalls }}{"name": "{{ .Function.Name }}", "parameters": {{ .Function.Arguments }}}{{ end }}
{{- else }}

{{ .Content }}{{ if not $last }}<|eot_id|>{{ end }}
{{- end }}
{{- else if eq .Role "tool" }}<|start_header_id|>ipython<|end_header_id|>

{{ .Content }}<|eot_id|>{{ if $last }}<|start_header_id|>assistant<|end_header_id|>

{{ end }}
{{- end }}
{{- end }}
{{- else }}
{{- if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ end }}{{ .Response }}{{ if .Response }}<|eot_id|>{{ end }}

[GGUF !! Full precision !! BF16]