Kanana 1.5-2.1b-base开源AI模型 - 编码数学实力强，可扩展长文本处理

首页

Kanana 1.5 2.1b Base

由 kakaocorp 开发

Kanana 1.5是Kanana模型家族的新版本，在编码、数学和函数调用能力方面有显著提升，支持32K tokens长度并可扩展至128K tokens。

大型语言模型

Transformers

支持多种语言开源协议:Apache-2.0 #双语文本生成 #长上下文处理 #代码数学增强

下载量 757

发布时间 : 4/15/2025

模型简介

Kanana 1.5是一个计算高效的双语语言模型，优化了后训练流程，实现了更自然、更准确的对话，适用于处理复杂现实问题和长文档。

模型特点

增强的编码和数学能力

相比前一版本在编码、数学和函数调用能力方面有显著提升

长上下文支持

原生支持32K tokens长度，使用YaRN可扩展至128K tokens

优化的对话体验

通过优化的后训练流程，实现更自然、更准确的对话

双语支持

同时支持英语和韩语处理

模型能力

文本生成

长文档处理

代码生成

数学问题解决

函数调用

双语对话

使用案例

复杂问题解决

编程问题解答

帮助开发者解决编程问题和代码调试

HumanEval评分52.44，MBPP评分47.00

数学问题解答

解决数学问题和推导

GSM8K评分55.95

长文档处理

长文档摘要

处理和分析长文档内容

支持32K tokens原生长度，可扩展至128K tokens

双语应用

英韩翻译

英语和韩语之间的翻译任务

🚀 卡纳纳1.5-2.1B基础模型

卡纳纳1.5-2.1B基础模型是一款强大的文本生成模型，在编码、数学和函数调用能力上有显著提升，能处理长文本，对话更自然准确，为复杂的实际问题提供了有效的解决方案。

✨ 1.5 HF模型 | 📝 1.5博客 | 📖 技术报告

📢 新闻动态

2025/05/23：发布了关于卡纳纳1.5模型的博客文章，并发布了✨HF模型权重。
📖2025/02/27：发布了技术报告和✨HF模型权重。
📝2025/01/10：发布了关于卡纳纳纳米模型开发的博客文章。
📝2024/11/14：发布了关于卡纳纳模型开发的博客文章（预训练，后训练）。
📺2024/11/06：发布了关于卡纳纳模型开发的演示视频。

🤖 卡纳纳1.5

卡纳纳1.5是卡纳纳模型家族的新版本，与上一版本相比，在编码、数学和函数调用能力方面有了显著提升，能够更好地应用于更复杂的实际问题。这个新版本原生支持处理长达32K的标记长度，使用YaRN技术时可处理长达128K的标记，使模型在处理长篇文档或进行长时间对话时能够保持连贯性。此外，通过精细的后训练过程，卡纳纳1.5能够实现更自然、准确的对话。

⚠️ 重要提示

预训练和后训练数据均不包含Kakao用户数据。

📊 性能表现

基础模型评估

模型	MMLU	KMMLU	HAERAE	HumanEval	MBPP	GSM8K
卡纳纳-1.5-2.1B	56.30	45.10	77.46	52.44	47.00	55.95
卡纳纳-纳米-2.1B	54.83	44.80	77.09	31.10	46.20	46.32

指令模型评估

模型	MT-Bench	KoMT-Bench	IFEval	HumanEval+	MBPP+	GSM8K (0-shot)	MATH	MMLU (0-shot, CoT)	KMMLU (0-shot, CoT)	FunctionChatBench
卡纳纳-1.5-2.1B*	7.01	6.54	68.61	68.90	65.08	81.43	60.62	53.87	32.93	53.70
卡纳纳-纳米-2.1B	6.40	5.90	71.97	63.41	62.43	72.32	29.26	52.48	38.51	26.10

⚠️ 重要提示

* 根据Apache 2.0许可发布的模型与其他模型相比，是在最新版本上进行训练的。

👥 贡献者

语言模型训练：朴允珠、郑道海、金保燮、金娜妍、李镐镇、朴在善、柳敏镐
语言模型对齐：韩智妍、郑承宰、金贤浩、高贤雄、李昌民、南元泰
AI工程：金有民、金亨柱

📝 引用方式

@misc{kananallmteam2025kananacomputeefficientbilinguallanguage,
      title={Kanana: Compute-efficient Bilingual Language Models}, 
      author={Kanana LLM Team and Yunju Bak and Hojin Lee and Minho Ryu and Jiyeon Ham and Seungjae Jung and Daniel Wontae Nam and Taegyeong Eo and Donghun Lee and Doohae Jung and Boseop Kim and Nayeon Kim and Jaesun Park and Hyunho Kim and Hyunwoong Ko and Changmin Lee and Kyoung-Woon On and Seulye Baeg and Junrae Cho and Sunghee Jung and Jieun Kang and EungGyun Kim and Eunhwa Kim and Byeongil Ko and Daniel Lee and Minchul Lee and Miok Lee and Shinbok Lee and Gaeun Seo},
      year={2025},
      eprint={2502.18934},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18934}, 
}