Zlatorog 12B Instruct Beta

🚀 Zlatorog-12B-Instruct-Beta

このモデルは、zidsi/MistralNemoCPT6 をカスタムのSFTデータセットでファインチューニングしたバージョンです。高品質な命令追従、推論、ツール拡張生成タスクに最適化されています。

🚀 クイックスタート

このモデルは、Slovenian LLMの研究や探索に最適です。ユーザーは、様々なシナリオでこのモデルを使用して楽しむことができます。

✨ 主な機能

• このモデルは Mistral Nemo 12B をベースに構築され、Continual Pretraining (CPT) と Supervised Fine-Tuning (SFT) を経て、命令調整された目的で最適化されています。
• 高品質な命令追従、推論、ツール拡張生成タスクに対応しています。
• 言語理解と関数呼び出しのシナリオの両方で最適化されています。

📚 ドキュメント

想定される用途と制限

Slovenian LLMの研究や探索、楽しみのために使用できます。

学習と評価データ

Slovenianのベンチマークでの結果は良くない場合がありますが、「現実世界」のプロンプトに対する応答は印象的です。「Who is ...?」のプロンプトでの幻覚率が低下しています。最大16kのコンテキストでは正常に動作するはずですが、より長いコンテキストでは、CPT Long段階で学習データを改善する必要があります。

ツールの使用

このモデルは ツール拡張生成 をサポートしており、ユーザーのプロンプトに基づいて構造化された関数呼び出しを介して外部ツールを呼び出すことができます。ツールの使用は特殊なトークン化形式に従い、プロンプトの先頭でツールの可用性を宣言し、モデルの出力で対応するツール呼び出しが生成されます。

例

入力 (プロンプト):

<s>[AVAILABLE_TOOLS][{"type": "function", "function": {"name": "poisci_novice", "description": "Orodje poišče današnje novice glede na iskalni niz - ključne besede v besedilu.", "parameters": {"type": "object", "properties": {"iskalni_niz": {"type": "string", "description": "Iskalni niz za iskanje novic."}}, "required": ["iskalni_niz"]}}}][/AVAILABLE_TOOLS][INST]Naredi seznam današnjih novic o velikih jezikovnih modelih.[/INST]

モデル出力:

[TOOL_CALLS][{"name": "poisci_novice", "arguments": {"iskalni_niz": "veliki jezikovni modeli"}}]

動作原理

• [AVAILABLE_TOOLS]: モデルが呼び出せるツールをJSON形式で宣言します。
• [INST]...[/INST]: ユーザーの命令またはプロンプトをラップします。
• [TOOL_CALLS]: モデルは宣言されたAPIに一致する構造化されたツール呼び出しで応答します。

この形式は、モデルが外部関数を決定して委任するマルチツールエージェントまたはカスタムオーケストレーションパイプラインに統合するのに適しています。

ツール呼び出しスキーマ

ツール定義は OpenAI関数呼び出し仕様 に従い、JSON Schema を使用してパラメーターとその制約を定義します。

ライセンス

このモデルは Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0) ライセンスの下でリリースされています。

• 帰属表示：元の作者に帰属表示をする必要があります。
• 非商用利用のみ：このライセンスの下では商用利用は 許可されていません。
• 派生作品の禁止：モデルの改変版を共有することはできません。

商用利用、カスタム開発、または 拡張権限の要求 の場合は、info <at> zid.si にメールを送信してください。 ライセンスの詳細は https://creativecommons.org/licenses/by-nc-nd/4.0/ を参照してください。

未来の研究をサポートする 開発者は現在、このモデルと関連プロジェクトの研究開発を続けるための資金を求めています。サポートまたは協力に興味がある場合は、ご連絡ください。

引用

Zlatorog-12B-Instruct-Beta を研究やアプリケーションで使用する場合は、次のように引用してください。

BibTeX

@misc{zlatorog12b2025,
  title        = {Zlatorog-12B-Instruct-Beta: A Slovenian Instruction-Tuned Large Language Model},
  author       = {Tomaž Savodnik, Zavod za informacijsko družbo (zID)},
  year         = {2025},
  howpublished = {\url{https://huggingface.co/zID4si/Zlatorog-12B-Instruct-Beta}},
  note         = {Version Beta}
}

APA

Savodnik, T., Zavod za informacijsko družbo (zID). (2025). Zlatorog-12B-Instruct-Beta: A Slovenian Instruction-Tuned Large Language Model [Computer software]. Hugging Face. https://huggingface.co/zID4si/Zlatorog-12B-Instruct-Beta