Zlatorog 12B Instruct Beta

🚀 Zlatorog-12B-Instruct-Beta

Zlatorog-12B-Instruct-Beta 是基于 Mistral Nemo 12B 微调的大语言模型，经过持续预训练和监督微调，能高质量完成指令跟随、推理和工具增强生成等任务，适用于斯洛文尼亚语相关研究。

🚀 快速开始

本模型是 zidsi/MistralNemoCPT6 在自定义 SFT 数据集混合上的微调版本，可直接基于此模型开展相关研究工作。

✨ 主要特性

• 多阶段优化：基于 Mistral Nemo 12B，经过 持续预训练（CPT） 和 监督微调（SFT） 等多阶段优化。
• 高质量任务处理：专为高质量的指令跟随、推理和工具增强生成任务设计，在语言理解和函数调用场景中都有优化表现。
• 工具增强生成：支持通过结构化函数调用调用外部工具，适用于集成到多工具代理或自定义编排管道。

📚 详细文档

预期用途与限制

可用于研究、探索斯洛文尼亚语大语言模型，带来研究乐趣。

训练和评估数据

在标准斯洛文尼亚语基准测试中结果不佳，但在“现实世界”提示响应中有时表现出色。在“Who is ...?”提示下，幻觉率有所降低。在长达 16k 上下文的情况下应该能正常工作，对于更长的上下文，需要在 CPT Long 阶段改进训练数据。

工具使用

本模型支持 工具增强生成，允许它根据用户提示通过结构化函数调用调用外部工具。工具使用遵循特殊的标记化格式，在提示开始时声明工具可用性，并在模型输出中生成相应的工具调用。

示例

输入（提示）：

<s>[AVAILABLE_TOOLS][{"type": "function", "function": {"name": "poisci_novice", "description": "Orodje poišče današnje novice glede na iskalni niz - ključne besede v besedilu.", "parameters": {"type": "object", "properties": {"iskalni_niz": {"type": "string", "description": "Iskalni niz za iskanje novic."}}, "required": ["iskalni_niz"]}}}][/AVAILABLE_TOOLS][INST]Naredi seznam današnjih novic o velikih jezikovnih modelih.[/INST]

模型输出：

[TOOL_CALLS][{"name": "poisci_novice", "arguments": {"iskalni_niz": "veliki jezikovni modeli"}}]

工作原理

• [AVAILABLE_TOOLS]：声明模型可以调用的工具，格式为 JSON。
• [INST]...[/INST]：包装用户指令或提示。
• [TOOL_CALLS]：模型以匹配声明 API 的结构化工具调用进行响应。

这种格式适用于集成到多工具代理或自定义编排管道，其中模型确定并委托外部函数。

工具调用模式

工具定义遵循 OpenAI 函数调用规范，使用 JSON Schema 来定义参数及其约束。

许可证

本模型根据 知识共享署名 - 非商业性使用 - 禁止演绎 4.0 国际（CC BY - NC - ND 4.0） 许可证发布。

• 署名：必须注明原作者。
• 非商业性使用：仅允许非商业使用，商业使用在本许可证下 不允许。
• 禁止演绎：意味着您不得分享模型的改编版本。

对于 商业使用、定制开发 或请求 扩展权利，请发送电子邮件至 info <at> zid.si。

许可证详细信息：https://creativecommons.org/licenses/by-nc-nd/4.0/

支持未来研究

开发者目前正在寻求资金以继续对该模型及相关项目进行研究和开发。如果您有兴趣支持或合作，请联系我们。

支持进一步发展

开发者目前正在寻求资金以继续对该模型及相关项目进行研究和开发。欢迎您联系我们以提供支持或进行合作。

📄 许可证

本模型采用 知识共享署名 - 非商业性使用 - 禁止演绎 4.0 国际许可协议（CC BY - NC - ND 4.0） 发布。

• 署名：需标明原作者。
• 非商业用途：仅允许非商业使用，严禁商业用途。
• 禁止演绎：不得分享模型的改编版本。

若需 商业使用、定制开发 或申请 扩展权限，请发邮件至 info <at> zid.si。

许可证详情：https://creativecommons.org/licenses/by-nc-nd/4.0/

📚 引用

如果您在研究或应用中使用了 Zlatorog - 12B - Instruct - Beta，请按以下方式引用：

BibTeX

@misc{zlatorog12b2025,
  title        = {Zlatorog-12B-Instruct-Beta: A Slovenian Instruction-Tuned Large Language Model},
  author       = {Tomaž Savodnik, Zavod za informacijsko družbo (zID)},
  year         = {2025},
  howpublished = {\url{https://huggingface.co/zID4si/Zlatorog-12B-Instruct-Beta}},
  note         = {Version Beta}
}

APA

Savodnik, T., Zavod za informacijsko družbo (zID). (2025). Zlatorog-12B-Instruct-Beta: A Slovenian Instruction-Tuned Large Language Model [Computer software]. Hugging Face. https://huggingface.co/zID4si/Zlatorog-12B-Instruct-Beta