Aceinstruct 1.5B GGUF

🚀 AceInstruct-1.5B GGUFモデル

AceInstruct-1.5B GGUFモデルは、コーディング、数学、一般的なタスクに対応した高度なSFTモデルです。Qwenを用いて改良され、Qwen2.5-Baseをベースに一般的なSFTデータセットで微調整されています。

🚀 クイックスタート

このモデルは、さまざまなタスクに対応しており、以下のように使用できます。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "AceInstruct-1.5B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")

prompt = "Tell me something about artificial intelligence."
messages = [{"role": "user", "content": prompt}]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to("cuda")

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=1024
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

✨ 主な機能

• 多様なタスク対応：コーディング、数学、一般知識など、幅広いドメインのタスクに対応しています。
• 高い性能：ベンチマーク評価で、Qwen2.5-Instructと同等の性能を発揮します。

📦 インストール

このモデルは、Hugging Faceからダウンロードして使用することができます。具体的なインストール手順は、Hugging Faceの公式ドキュメントを参照してください。

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "AceInstruct-1.5B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")

prompt = "Tell me something about artificial intelligence."
messages = [{"role": "user", "content": prompt}]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to("cuda")

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=1024
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

高度な使用法

高度なシナリオでは、以下のようにパラメータを調整することができます。

# 高度なシナリオでは、max_new_tokensやtemperatureなどのパラメータを調整することができます。
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=2048,
    temperature=0.7
)

📚 ドキュメント

モデル生成の詳細

このモデルは、llama.cppを使用して、コミットb9c3eefdで生成されました。

ベンチマーク結果

すべてのリソース

AceMath Instructionモデル

• AceMath-1.5B-Instruct
• AceMath-7B-Instruct
• AceMath-72B-Instruct

AceMath Rewardモデル

• AceMath-7B-RM
• AceMath-72B-RM

評価とトレーニングデータ

• AceMath-RewardBench
• AceMath-Instruct Training Data
• AceMath-RM Training Data

一般的なInstructionモデル

• AceInstruct-1.5B
• AceInstruct-7B
• AceInstruct-72B

対応先

• Zihan Liu (zihanl@nvidia.com)
• Yang Chen (yachen@nvidia.com)
• Wei Ping (wping@nvidia.com)

引用

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}

🔧 技術詳細

AceInstructファミリーのモデルは、Qwen2.5-Baseをベースに、一般的なSFTデータセットを使用して微調整されています。これらのデータセットは、AceMath-Instructのトレーニングにも使用されています。

📄 ライセンス

AceInstructファミリーのすべてのモデルは、非商用利用のみを許可しており、OpenAIによって生成されたデータの利用規約に従う必要があります。AceInstructモデルは、Creative Commons Attribution: Non-Commercial 4.0 Internationalのライセンスの下に置かれています。

テストに関する情報

モデルのテストに参加する

これらのモデルが役に立つと思われる場合は、AI-Powered Quantum Network Monitor Assistantのテストに参加してください。

👉 Quantum Network Monitor

量子ネットワークモニターサービスの完全なオープンソースコードは、GitHubのリポジトリ（NetworkMonitorという名前のリポジトリ）で入手できます。ソースコード 量子ネットワークモニター

また、モデルを自分で量子化する場合は、使用しているコードもGGUFModelBuilderで見つけることができます。

テスト方法

1. AIアシスタントのタイプを選択：
   • TurboLLM (GPT-4.1-mini)
   • HugLLM (Hugginfaceのオープンソースモデル)
   • TestLLM (実験的なCPU専用モデル)

テスト内容

• AIネットワークモニタリング用の小規模オープンソースモデルの限界を追求：
  • ライブネットワークサービスに対する関数呼び出し
  • モデルの最小サイズで、以下のタスクを処理できるかどうか：
    • 自動化されたNmapセキュリティスキャン
    • 量子対応チェック
    • ネットワークモニタリングタスク

各アシスタントの特徴

TestLLM（現在の実験的モデル）

• ✅ ゼロコンフィギュレーション設定
• ⏳ 30秒のロード時間（推論は遅いが、APIコストがかからない）。コストが低いため、トークン制限がありません。
• 🔧 協力者募集中！ エッジデバイスAIに興味がある方は、一緒に協力しましょう！

TurboLLM

• gpt-4.1-miniを使用：
• 性能は非常に高いですが、残念ながらOpenAIはトークンごとに料金を請求します。そのため、トークンの使用量が制限されています。
• 量子ネットワークモニターエージェントで.NETコードを実行するカスタムコマンドプロセッサを作成
• リアルタイムのネットワーク診断とモニタリング
• セキュリティ監査
• ペネトレーションテスト (Nmap/Metasploit)

HugLLM

• 🌐 Hugging Face Inference APIで実行。Novitaにホストされている最新のモデルを使用して、かなり良好な性能を発揮します。

テストできるコマンドの例

1. "Give me info on my websites SSL certificate"
2. "Check if my server is using quantum safe encyption for communication"
3. "Run a comprehensive security audit on my server"
4. '"Create a cmd processor to .. (what ever you want)" 注：.NETコードを実行するには、Quantum Network Monitor Agentをインストールする必要があります。これは非常に柔軟で強力な機能です。注意して使用してください！

最後の言葉

これらのモデルファイルを作成するためのサーバー、量子ネットワークモニターサービスを実行するためのサーバー、およびNovitaとOpenAIからの推論コストは、すべて私の自分の費用で負担しています。モデル作成と量子ネットワークモニタープロジェクトの背後にあるすべてのコードは、オープンソースです。役に立つものがあれば、自由に使用してください。

もしこの作業を評価していただける場合は、コーヒーを買ってくれることをご検討ください。あなたの支援により、サービスコストをカバーし、すべての人のトークン制限を引き上げることができます。

また、仕事の機会やスポンサーシップも歓迎しています。

ありがとうございます！ 😊