Nu2 Lupi Qwen 14B

🚀 Nu2-Lupi-Qwen-14B

Nu2-Lupi-Qwen-14Bは、Qwen 2.5 14Bモダリティアーキテクチャに基づいて構築され、数学的推論能力を強化するように設計されています。このモデルは、複雑な問題解決、論理的推論、多段階の数学的推論に最適化されています。gsm8k-platinumデータセットを使用してファインチューニングされ、数学領域における精度、構造化された応答、文脈理解が向上しています。

🚀 クイックスタート

transformersを使ったクイックスタート

以下は、apply_chat_templateを使用してトークナイザーとモデルをロードし、コンテンツを生成するコードスニペットです。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "prithivMLmods/Nu2-Lupi-Qwen-14B"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Solve the equation: 3x + 5 = 14."
messages = [
    {"role": "system", "content": "You are a mathematical reasoning assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主な機能

主要な改善点

1. 向上した数学的能力：このモデルは、代数、微積分、数論などの複雑な数学問題の解決に優れています。
2. 高度な推論能力：段階的な問題解決に最適化されており、数学的な質問に対して明確で論理的な説明を提供できます。
3. 改善された指示追従能力：多段階の指示を正確に理解して実行でき、構造化された一貫した出力を保証します。
4. 長文脈サポート：入力コンテキストとして最大128Kトークンをサポートし、一度の出力で最大8Kトークンを生成できるため、詳細な問題の分解に最適です。
5. 多言語の数学的推論：英語、中国語、フランス語、スペイン語、ポルトガル語、ドイツ語、イタリア語、ロシア語、日本語、韓国語、ベトナム語、タイ語、アラビア語など、29以上の言語をサポートします。

📚 ドキュメント

想定される用途

1. 数学的推論と問題解決：代数、幾何学、微積分、論理パズルなどの高精度な数学問題解決のためにファインチューニングされています。
2. 教育と学術支援：構造化された説明と段階的な解決策を求める学生、教育者、研究者に最適です。
3. 数学に焦点を当てた会話型AI：数学的理解と動的な応答生成を必要とするインテリジェントチャットボットアプリケーションをサポートします。
4. データサイエンスと分析処理：数学的データセットの分析、構造化された数値的洞察の生成、自動化の支援が可能です。
5. 長文の数学コンテンツ生成：詳細な問題の分解、数学レポート、研究ベースのコンテンツを高い一貫性で生成できます。

制限事項

1. ハードウェア要件：大きなパラメータサイズと長文脈サポートのため、高メモリのGPUまたはTPUが必要です。
2. 応答における潜在的なバイアス：精度のためにファインチューニングされていますが、出力はトレーニングデータに含まれるバイアスを反映する可能性があります。
3. 創造的な出力の不一致：抽象的または理論的な数学概念を扱う際に、結果が異なる場合があります。
4. 現実世界の認識の制限：トレーニングのカットオフ以降のリアルタイムの数学的発見にアクセスできません。
5. 長文応答におけるエラー伝播：長文の応答では、初期の段階での小さな計算誤りが全体の問題解決に影響を与える可能性があります。
6. プロンプトの感度：応答の有効性は、入力プロンプト内の数学問題の構造化の良さに依存する場合があります。

📄 ライセンス

• ライセンス: Apache-2.0