Zlatorog 12B Instruct Beta

🚀 Zlatorog-12B-Instruct-Beta

Zlatorog-12B-Instruct-Beta 是基於 Mistral Nemo 12B 微調的大語言模型，經過持續預訓練和監督微調，能高質量完成指令跟隨、推理和工具增強生成等任務，適用於斯洛文尼亞語相關研究。

🚀 快速開始

本模型是 zidsi/MistralNemoCPT6 在自定義 SFT 數據集混合上的微調版本，可直接基於此模型開展相關研究工作。

✨ 主要特性

• 多階段優化：基於 Mistral Nemo 12B，經過 持續預訓練（CPT） 和 監督微調（SFT） 等多階段優化。
• 高質量任務處理：專為高質量的指令跟隨、推理和工具增強生成任務設計，在語言理解和函數調用場景中都有優化表現。
• 工具增強生成：支持通過結構化函數調用調用外部工具，適用於集成到多工具代理或自定義編排管道。

📚 詳細文檔

預期用途與限制

可用於研究、探索斯洛文尼亞語大語言模型，帶來研究樂趣。

訓練和評估數據

在標準斯洛文尼亞語基準測試中結果不佳，但在“現實世界”提示響應中有時表現出色。在“Who is ...?”提示下，幻覺率有所降低。在長達 16k 上下文的情況下應該能正常工作，對於更長的上下文，需要在 CPT Long 階段改進訓練數據。

工具使用

本模型支持 工具增強生成，允許它根據用戶提示通過結構化函數調用調用外部工具。工具使用遵循特殊的標記化格式，在提示開始時聲明工具可用性，並在模型輸出中生成相應的工具調用。

示例

輸入（提示）：

<s>[AVAILABLE_TOOLS][{"type": "function", "function": {"name": "poisci_novice", "description": "Orodje poišče današnje novice glede na iskalni niz - ključne besede v besedilu.", "parameters": {"type": "object", "properties": {"iskalni_niz": {"type": "string", "description": "Iskalni niz za iskanje novic."}}, "required": ["iskalni_niz"]}}}][/AVAILABLE_TOOLS][INST]Naredi seznam današnjih novic o velikih jezikovnih modelih.[/INST]

模型輸出：

[TOOL_CALLS][{"name": "poisci_novice", "arguments": {"iskalni_niz": "veliki jezikovni modeli"}}]

工作原理

• [AVAILABLE_TOOLS]：聲明模型可以調用的工具，格式為 JSON。
• [INST]...[/INST]：包裝用戶指令或提示。
• [TOOL_CALLS]：模型以匹配聲明 API 的結構化工具調用進行響應。

這種格式適用於集成到多工具代理或自定義編排管道，其中模型確定並委託外部函數。

工具調用模式

工具定義遵循 OpenAI 函數調用規範，使用 JSON Schema 來定義參數及其約束。

許可證

本模型根據 知識共享署名 - 非商業性使用 - 禁止演繹 4.0 國際（CC BY - NC - ND 4.0） 許可證發佈。

• 署名：必須註明原作者。
• 非商業性使用：僅允許非商業使用，商業使用在本許可證下 不允許。
• 禁止演繹：意味著您不得分享模型的改編版本。

對於 商業使用、定製開發 或請求 擴展權利，請發送電子郵件至 info <at> zid.si。

許可證詳細信息：https://creativecommons.org/licenses/by-nc-nd/4.0/

支持未來研究

開發者目前正在尋求資金以繼續對該模型及相關項目進行研究和開發。如果您有興趣支持或合作，請聯繫我們。

支持進一步發展

開發者目前正在尋求資金以繼續對該模型及相關項目進行研究和開發。歡迎您聯繫我們以提供支持或進行合作。

📄 許可證

本模型採用 知識共享署名 - 非商業性使用 - 禁止演繹 4.0 國際許可協議（CC BY - NC - ND 4.0） 發佈。

• 署名：需標明原作者。
• 非商業用途：僅允許非商業使用，嚴禁商業用途。
• 禁止演繹：不得分享模型的改編版本。

若需 商業使用、定製開發 或申請 擴展權限，請發郵件至 info <at> zid.si。

許可證詳情：https://creativecommons.org/licenses/by-nc-nd/4.0/

📚 引用

如果您在研究或應用中使用了 Zlatorog - 12B - Instruct - Beta，請按以下方式引用：

BibTeX

@misc{zlatorog12b2025,
  title        = {Zlatorog-12B-Instruct-Beta: A Slovenian Instruction-Tuned Large Language Model},
  author       = {Tomaž Savodnik, Zavod za informacijsko družbo (zID)},
  year         = {2025},
  howpublished = {\url{https://huggingface.co/zID4si/Zlatorog-12B-Instruct-Beta}},
  note         = {Version Beta}
}

APA

Savodnik, T., Zavod za informacijsko družbo (zID). (2025). Zlatorog-12B-Instruct-Beta: A Slovenian Instruction-Tuned Large Language Model [Computer software]. Hugging Face. https://huggingface.co/zID4si/Zlatorog-12B-Instruct-Beta