Superthoughts Lite V2 MOE Llama3.2 GGUF

🚀 スーパーソートライトv2-MOE-Llama3.2

このモデルは、様々なタスクで高精度な応答を生成し、応答生成時のループを減らした高性能なテキスト生成モデルです。化学、コード、数学などの分野に対応しています。

🚀 クイックスタート

このモデルは、多くのタスクで高精度かつ高性能な応答を生成します。以下のリンクから異なる形式のモデルを利用できます。

• GGUF
• Full precision
• BF16

✨ 主な機能

• 高精度：すべてのタスクで高精度な応答を生成します。
• 高性能：応答生成時のループが少なく、高速に応答を生成します。
• 多機能：化学、コード、数学などの様々な分野に対応しています。

📚 ドキュメント

モデル情報

学習方法

まず、meta-llama/Llama-3.2-1B-Instructの上にUnslothを使用してGRPO技術を用いてベースモデルを作成しました。その後、各潜在的なエキスパートをSFTで学習させ、再度GRPOを行いました。総計4つのエキスパートがあります。

• チャット推論エキスパート
• 数学推論エキスパート
• コード推論エキスパート
• 科学推論エキスパート

システムプロンプト

Thinking: enabled.

Follow this format strictly:
<think>
Write your step-by-step reasoning here.
Break down the problem into smaller parts.
Solve each part systematically.
Check your work and verify the answer makes sense.
</think>
[Your final answer after thinking].

制限事項

• セーフティ対策：セーフティアライメントは最小限に行われているため、モデルは時々無修正の応答を生成することがあります。
• 幻覚問題：すべての大規模言語モデルと同様に、このモデルも幻覚を起こし、誤った情報を出力することがあります。応答を必ず二重チェックしてください。

GGUFテンプレート

{{ if .Messages }}
{{- if or .System .Tools }}<|start_header_id|>system<|end_header_id|>
{{- if .System }}

{{ .System }}
{{- end }}
{{- if .Tools }}

You are a helpful assistant with tool calling capabilities. When you receive a tool call response, use the output to format an answer to the original use question.
{{- end }}
{{- end }}<|eot_id|>
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1 }}
{{- if eq .Role "user" }}<|start_header_id|>user<|end_header_id|>
{{- if and $.Tools $last }}

Given the following functions, please respond with a JSON for a function call with its proper arguments that best answers the given prompt.

Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}. Do not use variables.

{{ $.Tools }}
{{- end }}

{{ .Content }}<|eot_id|>{{ if $last }}<|start_header_id|>assistant<|end_header_id|>

{{ end }}
{{- else if eq .Role "assistant" }}<|start_header_id|>assistant<|end_header_id|>
{{- if .ToolCalls }}

{{- range .ToolCalls }}{"name": "{{ .Function.Name }}", "parameters": {{ .Function.Arguments }}}{{ end }}
{{- else }}

{{ .Content }}{{ if not $last }}<|eot_id|>{{ end }}
{{- end }}
{{- else if eq .Role "tool" }}<|start_header_id|>ipython<|end_header_id|>

{{ .Content }}<|eot_id|>{{ if $last }}<|start_header_id|>assistant<|end_header_id|>

{{ end }}
{{- end }}
{{- end }}
{{- else }}
{{- if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ end }}{{ .Response }}{{ if .Response }}<|eot_id|>{{ end }}

📄 ライセンス

このモデルを使用することで、LLAMA 3.2 COMMUNITY LICENSEに同意したものとみなされます。