Kanana 1.5 8b Base

🚀 卡納納 1.5（Kanana 1.5）模型

卡納納 1.5 是卡納納模型家族的新版本，在編碼、數學和函數調用能力方面有顯著提升，能處理更長的文本序列，對話更自然準確，可應用於更復雜的現實問題。

🚀 快速開始

卡納納 1.5 模型在多個方面展現出強大的性能，下面為你詳細介紹其相關信息。

✨ 主要特性

• 能力提升：Kanana 1.5 作為卡納納模型家族的新版本，在編碼、數學和函數調用能力方面相較於上一版本有顯著提升，能夠應用於更復雜的現實問題。
• 長文本處理：該版本原生支持處理長達 32K 個標記的文本，使用 YaRN 技術時可處理多達 128K 個標記，在處理長篇文檔或進行長時間對話時能保持連貫性。
• 對話優化：通過精細的後訓練過程，Kanana 1.5 能實現更自然、準確的對話。

📚 詳細文檔

新聞動態

• 2025/05/23：發佈了一篇關於 Kanana 1.5 模型的博客文章，併發布了HF 模型權重。
• 2025/02/27：發佈了技術報告和HF 模型權重。
• 2025/01/10：發佈了一篇關於 Kanana Nano 模型開發的博客文章。
• 2024/11/14：發佈了關於 Kanana 模型開發的博客文章（預訓練，後訓練）。
• 2024/11/06：發佈了一個關於 Kanana 模型開發的演示視頻。

目錄

• 卡納納 1.5
  • 性能表現
    • 基礎模型評估
    • 指令模型評估
  • 32K+ 長度文本處理
• 貢獻者
• 引用信息
• 聯繫方式

性能表現

基礎模型評估

指令模型評估

⚠️ 重要提示

• 根據 Apache 2.0 許可證發佈的模型是與其他模型相比在最新版本上進行訓練的。

32K+ 長度文本處理

目前，上傳到 HuggingFace 的 config.json 配置為處理 32,768 個標記或更短的文本。要處理超過此長度的標記，必須應用 YaRN。通過使用以下參數更新 config.json，可以應用 YaRN 來處理長達 128K 的標記序列：

"rope_scaling": {
    "factor": 4.4,
    "original_max_position_embeddings": 32768,
    "type": "yarn",
    "beta_fast": 64,
    "beta_slow": 2
},

貢獻者

• 語言模型訓練：Yunju Bak、Doohae Jung、Boseop Kim、Nayeon Kim、Hojin Lee、Jaesun Park、Minho Ryu
• 語言模型對齊：Jiyeon Ham、Seungjae Jung、Hyunho Kim、Hyunwoong Ko、Changmin Lee、Daniel Wontae Nam
• 人工智能工程：Youmin Kim、Hyeongju Kim

引用信息

@misc{kananallmteam2025kananacomputeefficientbilinguallanguage,
      title={Kanana: Compute-efficient Bilingual Language Models}, 
      author={Kanana LLM Team and Yunju Bak and Hojin Lee and Minho Ryu and Jiyeon Ham and Seungjae Jung and Daniel Wontae Nam and Taegyeong Eo and Donghun Lee and Doohae Jung and Boseop Kim and Nayeon Kim and Jaesun Park and Hyunho Kim and Hyunwoong Ko and Changmin Lee and Kyoung-Woon On and Seulye Baeg and Junrae Cho and Sunghee Jung and Jieun Kang and EungGyun Kim and Eunhwa Kim and Byeongil Ko and Daniel Lee and Minchul Lee and Miok Lee and Shinbok Lee and Gaeun Seo},
      year={2025},
      eprint={2502.18934},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18934}, 
}

聯繫方式

• 卡納納大語言模型團隊技術支持：kanana - llm@kakaocorp.com
• 商務合作聯繫：alpha.k@kakaocorp.com

📄 許可證

本項目採用 Apache 2.0 許可證。

⚠️ 重要提示

預訓練和後訓練數據均不包含 Kakao 用戶數據。