Kanana 1.5 8b Instruct 2505

🚀 卡納納 1.5（Kanana 1.5）

卡納納 1.5 是卡納納模型家族的全新版本，在編碼、數學和函數調用能力方面較上一版本有顯著提升，能更好地應用於更復雜的現實問題。該版本原生支持處理長達 32K 個標記的內容，使用 YaRN 技術時可處理多達 128K 個標記，使模型在處理長篇文檔或進行長時間對話時能保持連貫性。此外，通過優化的後訓練過程，卡納納 1.5 能實現更自然、準確的對話。

✨ 1.5 HF 模型   |   📝 1.5 博客文章   |   📖 技術報告

📢 新聞動態

• 📰2025/05/23：發佈了一篇關於 卡納納 1.5 模型的 博客文章，併發布了 ✨HF 模型權重。
• 📖2025/02/27：發佈了 技術報告 和 ✨HF 模型權重。
• 📝2025/01/10：發佈了一篇關於 卡納納 Nano 模型開發的 博客文章。
• 📝2024/11/14：發佈了關於 卡納納 模型開發的博客文章（預訓練，後訓練）。
• 🎥2024/11/06：發佈了一個關於 卡納納 模型開發的 演示視頻。

📚 目錄

• 卡納納 1.5
  • 性能表現
    • 基礎模型評估
    • 指令模型評估
  • 處理 32K 以上長度文本
• 貢獻者
• 引用方式
• 聯繫方式

卡納納 1.5

卡納納 1.5 是卡納納模型家族新推出的版本，相較於上一版本，在編碼、數學和函數調用能力方面有顯著提升，能夠更廣泛地應用於更復雜的現實問題。這個新版本原生支持處理長達 32K 個標記的內容，使用 YaRN 技術時可處理多達 128K 個標記，使模型在處理長篇文檔或進行長時間對話時能保持連貫性。此外，通過優化的後訓練過程，卡納納 1.5 能實現更自然、準確的對話。

⚠️ 重要提示

預訓練和後訓練數據均不包含 Kakao 用戶數據。

性能表現

基礎模型評估

指令模型評估

⚠️ 重要提示

* 以 Apache 2.0 許可證發佈的模型是與其他模型相比在最新版本上訓練的。

處理 32K 以上長度文本

目前，上傳到 HuggingFace 的 config.json 配置為處理 32,768 個標記長度及以下的文本。要處理超過此長度的標記，必須應用 YaRN 技術。通過使用以下參數更新 config.json，可以應用 YaRN 來處理長達 128K 的標記序列：

"rope_scaling": {
    "factor": 4.4,
    "original_max_position_embeddings": 32768,
    "type": "yarn",
    "beta_fast": 64,
    "beta_slow": 2
},

貢獻者

• 語言模型訓練：樸允珠（Yunju Bak）、鄭道海（Doohae Jung）、金寶燮（Boseop Kim）、金娜妍（Nayeon Kim）、李鎬鎮（Hojin Lee）、樸在勳（Jaesun Park）、柳敏鎬（Minho Ryu）
• 語言模型對齊：韓智妍（Jiyeon Ham）、鄭承宰（Seungjae Jung）、金賢浩（Hyunho Kim）、高賢雄（Hyunwoong Ko）、李昌民（Changmin Lee）、南元泰（Daniel Wontae Nam）
• AI 工程：金有民（Youmin Kim）、金亨柱（Hyeongju Kim）

引用方式

@misc{kananallmteam2025kananacomputeefficientbilinguallanguage,
      title={Kanana: Compute-efficient Bilingual Language Models}, 
      author={Kanana LLM Team and Yunju Bak and Hojin Lee and Minho Ryu and Jiyeon Ham and Seungjae Jung and Daniel Wontae Nam and Taegyeong Eo and Donghun Lee and Doohae Jung and Boseop Kim and Nayeon Kim and Jaesun Park and Hyunho Kim and Hyunwoong Ko and Changmin Lee and Kyoung-Woon On and Seulye Baeg and Junrae Cho and Sunghee Jung and Jieun Kang and EungGyun Kim and Eunhwa Kim and Byeongil Ko and Daniel Lee and Minchul Lee and Miok Lee and Shinbok Lee and Gaeun Seo},
      year={2025},
      eprint={2502.18934},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18934}, 
}

聯繫方式

• 卡納納 LLM 團隊技術支持：kanana-llm@kakaocorp.com
• 商務合作聯繫：alpha.k@kakaocorp.com

📄 許可證

本項目採用 Apache - 2.0 許可證。