Kanana Nano 2.1b Instruct

🚀 Kanana

Kanana是由Kakao開發的一系列雙語語言模型，在韓語方面表現卓越，在英語方面也頗具競爭力。與同規模的先進模型相比，Kanana的計算成本顯著降低。

🤗 模型   |   📕 博客   |   📜 技術報告 |   💻 Github

✨ 主要特性

我們推出的Kanana系列雙語語言模型（由Kakao開發），在韓語方面表現卓越，在英語方面也具備競爭力。Kanana的計算成本顯著低於同規模的先進模型。報告詳細介紹了預訓練期間採用的技術，以實現計算高效且有競爭力的模型，包括高質量數據過濾、分階段預訓練、深度擴展以及剪枝和蒸餾。此外，報告還概述了Kanana模型後訓練期間採用的方法，包括監督微調（SFT）和偏好優化，旨在增強其與用戶無縫交互的能力。最後，報告闡述了語言模型適應特定場景的可行方法，如嵌入、函數調用和檢索增強生成（RAG）。Kanana模型系列的參數範圍從21億到325億，其中21億參數的模型（基礎、指令、嵌入、函數調用和RAG）已公開發布，以推動韓語語言模型的研究。

⚠️ 重要提示

預訓練和後訓練數據均不包含Kakao用戶數據。

📈 性能表現

以下是Kanana模型系列性能的部分報告。完整結果請參考技術報告。

預訓練模型性能

後訓練模型性能

指令遵循基準測試

通用基準測試

嵌入模型性能

🚀 快速開始

🤗 HuggingFace Transformers

運行Kanana模型需要transformers>=4.45.0或最新版本。

pip install transformers>=4.45.0

kanana-nano-2.1b-instruct的使用示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "kakaocorp/kanana-nano-2.1b-instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
).to("cuda")
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Convert these dates to YYYY/MM/DD format:\n12/31/2021\n02-01-22"
messages = [
    {"role": "system", "content": "You are a helpful AI assistant developed by Kakao."},
    {"role": "user", "content": prompt}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
).to("cuda")

_ = model.eval()
with torch.no_grad():
    output = model.generate(
        input_ids,
        max_new_tokens=72,
        do_sample=False,
    )

print(tokenizer.decode(output[0], skip_special_tokens=True))

# 輸出:
# Sure! Here are the given dates converted to the `YYYY/MM/DD` format:

# 1. **12/31/2021**
#    - **YYYY/MM/DD:** 2021/12/31

# 2. **02-01-22**
#    - **YYYY/MM/DD:** 2022/02/01

# So, the converted dates are ...

📄 許可證

Kanana模型採用CC-BY-NC-4.0許可證。

📚 引用信息

@misc{kananallmteam2025kananacomputeefficientbilinguallanguage,
      title={Kanana: Compute-efficient Bilingual Language Models}, 
      author={Kanana LLM Team and Yunju Bak and Hojin Lee and Minho Ryu and Jiyeon Ham and Seungjae Jung and Daniel Wontae Nam and Taegyeong Eo and Donghun Lee and Doohae Jung and Boseop Kim and Nayeon Kim and Jaesun Park and Hyunho Kim and Hyunwoong Ko and Changmin Lee and Kyoung-Woon On and Seulye Baeg and Junrae Cho and Sunghee Jung and Jieun Kang and EungGyun Kim and Eunhwa Kim and Byeongil Ko and Daniel Lee and Minchul Lee and Miok Lee and Shinbok Lee and Gaeun Seo},
      year={2025},
      eprint={2502.18934},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18934}, 
}

👥 貢獻者

• 預訓練：Yunju Bak、Doohae Jung、Boseop Kim、Nayeon Kim、Hojin Lee、Jaesun Park、Minho Ryu
• 後訓練：Jiyeon Ham、Seungjae Jung、Hyunho Kim、Hyunwoong Ko、Changmin Lee、Daniel Wontae Nam、Kyoung-Woon On
• 適配：Seulye Baeg、Junrae Cho、Taegyeong Eo、Sunghee Jung、Jieun Kang、EungGyun Kim、Eunhwa Kim、Byeongil Ko、Daniel Lee、Donghun Lee、Minchul Lee、Miok Lee、Shinbok Lee、Minho Ryu、Gaeun Seo

📞 聯繫我們

• Kanana LLM 團隊技術支持：kanana-llm@kakaocorp.com
• 商務合作聯繫：alpha.k@kakaocorp.com