Kanana 1.5 8b Base

🚀 卡纳纳 1.5（Kanana 1.5）模型

卡纳纳 1.5 是卡纳纳模型家族的新版本，在编码、数学和函数调用能力方面有显著提升，能处理更长的文本序列，对话更自然准确，可应用于更复杂的现实问题。

🚀 快速开始

卡纳纳 1.5 模型在多个方面展现出强大的性能，下面为你详细介绍其相关信息。

✨ 主要特性

• 能力提升：Kanana 1.5 作为卡纳纳模型家族的新版本，在编码、数学和函数调用能力方面相较于上一版本有显著提升，能够应用于更复杂的现实问题。
• 长文本处理：该版本原生支持处理长达 32K 个标记的文本，使用 YaRN 技术时可处理多达 128K 个标记，在处理长篇文档或进行长时间对话时能保持连贯性。
• 对话优化：通过精细的后训练过程，Kanana 1.5 能实现更自然、准确的对话。

📚 详细文档

新闻动态

• 2025/05/23：发布了一篇关于 Kanana 1.5 模型的博客文章，并发布了HF 模型权重。
• 2025/02/27：发布了技术报告和HF 模型权重。
• 2025/01/10：发布了一篇关于 Kanana Nano 模型开发的博客文章。
• 2024/11/14：发布了关于 Kanana 模型开发的博客文章（预训练，后训练）。
• 2024/11/06：发布了一个关于 Kanana 模型开发的演示视频。

目录

• 卡纳纳 1.5
  • 性能表现
    • 基础模型评估
    • 指令模型评估
  • 32K+ 长度文本处理
• 贡献者
• 引用信息
• 联系方式

性能表现

基础模型评估

指令模型评估

⚠️ 重要提示

• 根据 Apache 2.0 许可证发布的模型是与其他模型相比在最新版本上进行训练的。

32K+ 长度文本处理

目前，上传到 HuggingFace 的 config.json 配置为处理 32,768 个标记或更短的文本。要处理超过此长度的标记，必须应用 YaRN。通过使用以下参数更新 config.json，可以应用 YaRN 来处理长达 128K 的标记序列：

"rope_scaling": {
    "factor": 4.4,
    "original_max_position_embeddings": 32768,
    "type": "yarn",
    "beta_fast": 64,
    "beta_slow": 2
},

贡献者

• 语言模型训练：Yunju Bak、Doohae Jung、Boseop Kim、Nayeon Kim、Hojin Lee、Jaesun Park、Minho Ryu
• 语言模型对齐：Jiyeon Ham、Seungjae Jung、Hyunho Kim、Hyunwoong Ko、Changmin Lee、Daniel Wontae Nam
• 人工智能工程：Youmin Kim、Hyeongju Kim

引用信息

@misc{kananallmteam2025kananacomputeefficientbilinguallanguage,
      title={Kanana: Compute-efficient Bilingual Language Models}, 
      author={Kanana LLM Team and Yunju Bak and Hojin Lee and Minho Ryu and Jiyeon Ham and Seungjae Jung and Daniel Wontae Nam and Taegyeong Eo and Donghun Lee and Doohae Jung and Boseop Kim and Nayeon Kim and Jaesun Park and Hyunho Kim and Hyunwoong Ko and Changmin Lee and Kyoung-Woon On and Seulye Baeg and Junrae Cho and Sunghee Jung and Jieun Kang and EungGyun Kim and Eunhwa Kim and Byeongil Ko and Daniel Lee and Minchul Lee and Miok Lee and Shinbok Lee and Gaeun Seo},
      year={2025},
      eprint={2502.18934},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18934}, 
}

联系方式

• 卡纳纳大语言模型团队技术支持：kanana - llm@kakaocorp.com
• 商务合作联系：alpha.k@kakaocorp.com

📄 许可证

本项目采用 Apache 2.0 许可证。

⚠️ 重要提示

预训练和后训练数据均不包含 Kakao 用户数据。