Kanana 1.5 8b Instruct 2505

🚀 卡纳纳 1.5（Kanana 1.5）

卡纳纳 1.5 是卡纳纳模型家族的全新版本，在编码、数学和函数调用能力方面较上一版本有显著提升，能更好地应用于更复杂的现实问题。该版本原生支持处理长达 32K 个标记的内容，使用 YaRN 技术时可处理多达 128K 个标记，使模型在处理长篇文档或进行长时间对话时能保持连贯性。此外，通过优化的后训练过程，卡纳纳 1.5 能实现更自然、准确的对话。

✨ 1.5 HF 模型   |   📝 1.5 博客文章   |   📖 技术报告

📢 新闻动态

• 📰2025/05/23：发布了一篇关于 卡纳纳 1.5 模型的 博客文章，并发布了 ✨HF 模型权重。
• 📖2025/02/27：发布了 技术报告 和 ✨HF 模型权重。
• 📝2025/01/10：发布了一篇关于 卡纳纳 Nano 模型开发的 博客文章。
• 📝2024/11/14：发布了关于 卡纳纳 模型开发的博客文章（预训练，后训练）。
• 🎥2024/11/06：发布了一个关于 卡纳纳 模型开发的 演示视频。

📚 目录

• 卡纳纳 1.5
  • 性能表现
    • 基础模型评估
    • 指令模型评估
  • 处理 32K 以上长度文本
• 贡献者
• 引用方式
• 联系方式

卡纳纳 1.5

卡纳纳 1.5 是卡纳纳模型家族新推出的版本，相较于上一版本，在编码、数学和函数调用能力方面有显著提升，能够更广泛地应用于更复杂的现实问题。这个新版本原生支持处理长达 32K 个标记的内容，使用 YaRN 技术时可处理多达 128K 个标记，使模型在处理长篇文档或进行长时间对话时能保持连贯性。此外，通过优化的后训练过程，卡纳纳 1.5 能实现更自然、准确的对话。

⚠️ 重要提示

预训练和后训练数据均不包含 Kakao 用户数据。

性能表现

基础模型评估

指令模型评估

⚠️ 重要提示

* 以 Apache 2.0 许可证发布的模型是与其他模型相比在最新版本上训练的。

处理 32K 以上长度文本

目前，上传到 HuggingFace 的 config.json 配置为处理 32,768 个标记长度及以下的文本。要处理超过此长度的标记，必须应用 YaRN 技术。通过使用以下参数更新 config.json，可以应用 YaRN 来处理长达 128K 的标记序列：

"rope_scaling": {
    "factor": 4.4,
    "original_max_position_embeddings": 32768,
    "type": "yarn",
    "beta_fast": 64,
    "beta_slow": 2
},

贡献者

• 语言模型训练：朴允珠（Yunju Bak）、郑道海（Doohae Jung）、金宝燮（Boseop Kim）、金娜妍（Nayeon Kim）、李镐镇（Hojin Lee）、朴在勋（Jaesun Park）、柳敏镐（Minho Ryu）
• 语言模型对齐：韩智妍（Jiyeon Ham）、郑承宰（Seungjae Jung）、金贤浩（Hyunho Kim）、高贤雄（Hyunwoong Ko）、李昌民（Changmin Lee）、南元泰（Daniel Wontae Nam）
• AI 工程：金有民（Youmin Kim）、金亨柱（Hyeongju Kim）

引用方式

@misc{kananallmteam2025kananacomputeefficientbilinguallanguage,
      title={Kanana: Compute-efficient Bilingual Language Models}, 
      author={Kanana LLM Team and Yunju Bak and Hojin Lee and Minho Ryu and Jiyeon Ham and Seungjae Jung and Daniel Wontae Nam and Taegyeong Eo and Donghun Lee and Doohae Jung and Boseop Kim and Nayeon Kim and Jaesun Park and Hyunho Kim and Hyunwoong Ko and Changmin Lee and Kyoung-Woon On and Seulye Baeg and Junrae Cho and Sunghee Jung and Jieun Kang and EungGyun Kim and Eunhwa Kim and Byeongil Ko and Daniel Lee and Minchul Lee and Miok Lee and Shinbok Lee and Gaeun Seo},
      year={2025},
      eprint={2502.18934},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18934}, 
}

联系方式

• 卡纳纳 LLM 团队技术支持：kanana-llm@kakaocorp.com
• 商务合作联系：alpha.k@kakaocorp.com

📄 许可证

本项目采用 Apache - 2.0 许可证。