Kanana 1.5-2.1b-base開源AI模型 - 編碼數學實力強，可擴展長文本處理

首頁

Kanana 1.5 2.1b Base

由kakaocorp開發

Kanana 1.5是Kanana模型家族的新版本，在編碼、數學和函數調用能力方面有顯著提升，支持32K tokens長度並可擴展至128K tokens。

大型語言模型

Transformers

支持多種語言開源協議:Apache-2.0 #雙語文本生成 #長上下文處理 #代碼數學增強

下載量 757

發布時間 : 4/15/2025

模型概述

Kanana 1.5是一個計算高效的雙語語言模型，優化了後訓練流程，實現了更自然、更準確的對話，適用於處理複雜現實問題和長文檔。

模型特點

增強的編碼和數學能力

相比前一版本在編碼、數學和函數調用能力方面有顯著提升

長上下文支持

原生支持32K tokens長度，使用YaRN可擴展至128K tokens

優化的對話體驗

通過優化的後訓練流程，實現更自然、更準確的對話

雙語支持

同時支持英語和韓語處理

模型能力

文本生成

長文檔處理

代碼生成

數學問題解決

函數調用

雙語對話

使用案例

複雜問題解決

編程問題解答

幫助開發者解決編程問題和代碼調試

HumanEval評分52.44，MBPP評分47.00

數學問題解答

解決數學問題和推導

GSM8K評分55.95

長文檔處理

長文檔摘要

處理和分析長文檔內容

支持32K tokens原生長度，可擴展至128K tokens

雙語應用

英韓翻譯

英語和韓語之間的翻譯任務

🚀 卡納納1.5-2.1B基礎模型

卡納納1.5-2.1B基礎模型是一款強大的文本生成模型，在編碼、數學和函數調用能力上有顯著提升，能處理長文本，對話更自然準確，為複雜的實際問題提供了有效的解決方案。

✨ 1.5 HF模型 | 📝 1.5博客 | 📖 技術報告

📢 新聞動態

2025/05/23：發佈了關於卡納納1.5模型的博客文章，併發布了✨HF模型權重。
📖2025/02/27：發佈了技術報告和✨HF模型權重。
📝2025/01/10：發佈了關於卡納納納米模型開發的博客文章。
📝2024/11/14：發佈了關於卡納納模型開發的博客文章（預訓練，後訓練）。
📺2024/11/06：發佈了關於卡納納模型開發的演示視頻。

🤖 卡納納1.5

卡納納1.5是卡納納模型家族的新版本，與上一版本相比，在編碼、數學和函數調用能力方面有了顯著提升，能夠更好地應用於更復雜的實際問題。這個新版本原生支持處理長達32K的標記長度，使用YaRN技術時可處理長達128K的標記，使模型在處理長篇文檔或進行長時間對話時能夠保持連貫性。此外，通過精細的後訓練過程，卡納納1.5能夠實現更自然、準確的對話。

⚠️ 重要提示

預訓練和後訓練數據均不包含Kakao用戶數據。

📊 性能表現

基礎模型評估

模型	MMLU	KMMLU	HAERAE	HumanEval	MBPP	GSM8K
卡納納-1.5-2.1B	56.30	45.10	77.46	52.44	47.00	55.95
卡納納-納米-2.1B	54.83	44.80	77.09	31.10	46.20	46.32

指令模型評估

模型	MT-Bench	KoMT-Bench	IFEval	HumanEval+	MBPP+	GSM8K (0-shot)	MATH	MMLU (0-shot, CoT)	KMMLU (0-shot, CoT)	FunctionChatBench
卡納納-1.5-2.1B*	7.01	6.54	68.61	68.90	65.08	81.43	60.62	53.87	32.93	53.70
卡納納-納米-2.1B	6.40	5.90	71.97	63.41	62.43	72.32	29.26	52.48	38.51	26.10

⚠️ 重要提示

* 根據Apache 2.0許可發佈的模型與其他模型相比，是在最新版本上進行訓練的。

👥 貢獻者

語言模型訓練：樸允珠、鄭道海、金保燮、金娜妍、李鎬鎮、樸在善、柳敏鎬
語言模型對齊：韓智妍、鄭承宰、金賢浩、高賢雄、李昌民、南元泰
AI工程：金有民、金亨柱

📝 引用方式

@misc{kananallmteam2025kananacomputeefficientbilinguallanguage,
      title={Kanana: Compute-efficient Bilingual Language Models}, 
      author={Kanana LLM Team and Yunju Bak and Hojin Lee and Minho Ryu and Jiyeon Ham and Seungjae Jung and Daniel Wontae Nam and Taegyeong Eo and Donghun Lee and Doohae Jung and Boseop Kim and Nayeon Kim and Jaesun Park and Hyunho Kim and Hyunwoong Ko and Changmin Lee and Kyoung-Woon On and Seulye Baeg and Junrae Cho and Sunghee Jung and Jieun Kang and EungGyun Kim and Eunhwa Kim and Byeongil Ko and Daniel Lee and Minchul Lee and Miok Lee and Shinbok Lee and Gaeun Seo},
      year={2025},
      eprint={2502.18934},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18934}, 
}