🚀 スーパーソートライトv2-MOE-Llama3.2
このモデルは、様々なタスクで高精度な応答を生成し、応答生成時のループを減らした高性能なテキスト生成モデルです。化学、コード、数学などの分野に対応しています。
🚀 クイックスタート
このモデルは、多くのタスクで高精度かつ高性能な応答を生成します。以下のリンクから異なる形式のモデルを利用できます。

✨ 主な機能
- 高精度:すべてのタスクで高精度な応答を生成します。
- 高性能:応答生成時のループが少なく、高速に応答を生成します。
- 多機能:化学、コード、数学などの様々な分野に対応しています。
📚 ドキュメント
モデル情報
プロパティ |
詳細 |
モデルタイプ |
テキスト生成 |
ベースモデル |
Pinkstack/Superthoughts-lite-v2-MOE-Llama3.2 |
パラメータ数 |
3.91B |
アクティブなエキスパート数 |
2 |
総エキスパート数 |
4 |
生成可能トークン数 |
16,380 |
コンテキストサイズ |
131072 |
学習方法
まず、meta-llama/Llama-3.2-1B-Instructの上にUnslothを使用してGRPO技術を用いてベースモデルを作成しました。その後、各潜在的なエキスパートをSFTで学習させ、再度GRPOを行いました。総計4つのエキスパートがあります。
- チャット推論エキスパート
- 数学推論エキスパート
- コード推論エキスパート
- 科学推論エキスパート
システムプロンプト
Thinking: enabled.
Follow this format strictly:
<think>
Write your step-by-step reasoning here.
Break down the problem into smaller parts.
Solve each part systematically.
Check your work and verify the answer makes sense.
</think>
[Your final answer after thinking].
制限事項
- セーフティ対策:セーフティアライメントは最小限に行われているため、モデルは時々無修正の応答を生成することがあります。
- 幻覚問題:すべての大規模言語モデルと同様に、このモデルも幻覚を起こし、誤った情報を出力することがあります。応答を必ず二重チェックしてください。
GGUFテンプレート
{{ if .Messages }}
{{- if or .System .Tools }}<|start_header_id|>system<|end_header_id|>
{{- if .System }}
{{ .System }}
{{- end }}
{{- if .Tools }}
You are a helpful assistant with tool calling capabilities. When you receive a tool call response, use the output to format an answer to the original use question.
{{- end }}
{{- end }}<|eot_id|>
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1 }}
{{- if eq .Role "user" }}<|start_header_id|>user<|end_header_id|>
{{- if and $.Tools $last }}
Given the following functions, please respond with a JSON for a function call with its proper arguments that best answers the given prompt.
Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}. Do not use variables.
{{ $.Tools }}
{{- end }}
{{ .Content }}<|eot_id|>{{ if $last }}<|start_header_id|>assistant<|end_header_id|>
{{ end }}
{{- else if eq .Role "assistant" }}<|start_header_id|>assistant<|end_header_id|>
{{- if .ToolCalls }}
{{- range .ToolCalls }}{"name": "{{ .Function.Name }}", "parameters": {{ .Function.Arguments }}}{{ end }}
{{- else }}
{{ .Content }}{{ if not $last }}<|eot_id|>{{ end }}
{{- end }}
{{- else if eq .Role "tool" }}<|start_header_id|>ipython<|end_header_id|>
{{ .Content }}<|eot_id|>{{ if $last }}<|start_header_id|>assistant<|end_header_id|>
{{ end }}
{{- end }}
{{- end }}
{{- else }}
{{- if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ end }}{{ .Response }}{{ if .Response }}<|eot_id|>{{ end }}
📄 ライセンス
このモデルを使用することで、LLAMA 3.2 COMMUNITY LICENSEに同意したものとみなされます。