Nova 0.5 E3 7B

🚀 Nova 0.5 e3

このモデルは興味深い特性を示しています。シンプルな質問（例：4 x 2 はいくつですか？）に対しては、8 と答えます。簡単ですよね。

しかし、いくつかのテストを行ったところ、Solve x^2 + x = 8. のような複雑な問題に対しても、興味深いことが起こります。

<|begin_of_thought|>
**分析:**
この方程式は標準形の二次方程式 \(x^2 + x - 8 = 0\) です。直接因数分解するのは難しいため、置換と完全平方三項式の因数分解を試みます。

**まず:**
両辺に 1 を加えて方程式を書き換えます。
\(x^2 + x + 1 = 9\)。

**次に:**
\(x^2 + x + 1\) は \((x + \frac{1}{2})^2 - (\frac{1}{2})^2 + 1\) と書け、これを簡略化すると \((x + \frac{1}{2})^2 - \frac{1}{4} + 1 = (x + \frac{1}{2})^2 + \frac{3}{4}\) となります。

**次に:**
これを 9 と等しく設定します。
\((x + \frac{1}{2})^2 + \frac{3}{4} = 9\)。

**考察:**
両辺から \(\frac{3}{4}\) を引きます。
\((x + \frac{1}{2})^2 = 9 - \frac{3}{4} = \frac{36}{4} - \frac{3}{4} = \frac{33}{4}\)。

**最後に:**
両辺の平方根を取ります。
\(x + \frac{1}{2} = \pm \sqrt{\frac{33}{4}} = \pm \frac{\sqrt{33}}{2}\)。

**要約:**
\(x\) を解きます。
\(x = -\frac{1}{2} \pm \frac{\sqrt{33}}{2} = \frac{-1 \pm \sqrt{33}}{2}\)。
解は次の通りです。
\(\boxed{\frac{-1 + \sqrt{33}}{2}, \frac{-1 - \sqrt{33}}{2}}\)。
<|end_of_thought|>

<|begin_of_solution|>
**解:**
\(x^2 + x = 8\) から始めて、\(x^2 + x + 1 = 9\) と書き換えます。左辺を平方完成します。

1. \(x^2 + x + 1\) を \((x + \frac{1}{2})^2 - (\frac{1}{2})^2 + 1 = (x + \frac{1}{2})^2 - \frac{1}{4} + 1 = (x + \frac{1}{2})^2 + \frac{3}{4}\) と書き換えます。
2. 9 と等しく設定します。\((x + \frac{1}{2})^2 + \frac{3}{4} = 9\)。
3. \(\frac{3}{4}\) を引きます。\((x + \frac{1}{2})^2 = \frac{33}{4}\)。
4. 平方根を取ります。\(x + \frac{1}{2} = \pm \frac{\sqrt{33}}{2}\)。
5. \(x\) を解きます。\(x = -\frac{1}{2} \pm \frac{\sqrt{33}}{2}\)。

したがって、解は \(\boxed{\frac{-1 + \sqrt{33}}{2}, \frac{-1 - \sqrt{33}}{2}}\) です。
<|end_of_solution|>

ご覧の通り、このモデルは推論を始めます。しかも、正解を導き出します！

もちろん、この推論能力は Nova-0.5-r1-7B ほど優れていませんが、可能性を秘めています！

✨ 主な機能

推論能力の獲得

このモデルが推論能力を獲得したのは偶然でした。推論データセットを他のシンプルなデータセットと混ぜてしまった結果、複雑な多段階の質問に対してのみ推論するようになりました。

注意事項

1. 4ビットでのロードは不可：4ビットでモデルをロードすると、推論能力が失われ、実際のベースモデルになってしまいます。推論が不要な場合は、この方法も選択できますが、理由は不明です。
2. ChatMLテンプレートの使用：モデルを使用する際は、以下のChatMLテンプレートを使用してください。

<|im_start|>system
{}<|im_end|>
<|im_start|>user
{}<|im_end|>
<|im_start|>assistant
{}

⚠️ 重要提示

このモデルは "You are a helpful assistant." というシステムプロンプトでのみテストしています。他のシステムプロンプトを使用すると、不正確または予期しない結果が得られる可能性があります。

📦 インストール

このモデルを使用するには、必要な依存関係（transformers, torch など）をインストールする必要があります。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Load the tokenizer and model from Hugging Face
model_name = "oscar128372/Nova-0.5-e3-7B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Move to GPU if available
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

# Setup ChatML prompt
chatml_prompt = """
<|im_start|>system
{}<|im_end|>
<|im_start|>user
{}<|im_end|>
<|im_start|>assistant
"""

# Example system prompt
system_prompt = "You are a helpful assistant."

# Example prompt
prompt = "Solve x^2 + x = 8."

# Tokenize input
inputs = tokenizer(
[
    chatml_prompt.format(
      system_prompt,
      prompt
    )
], return_tensors="pt").to(device)

# Generate response
outputs = model.generate(
    **inputs,
    max_length=1024,  # Keep this high for reasoning, else, keep it low.
)

# Decode and print the result
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

# Expected output: A reasoned solution, e.g., "x = (-1 ± √33)/2"

📚 ドキュメント

将来の予定

将来的に e4 のバージョンはリリースされません。次のステップは 1.0 で、おそらく 1.0-r1 もあるかもしれません。今後の新しい推論モデルに注目してください。

📄 ライセンス

このモデルは apache-2.0 ライセンスの下で提供されています。