Kanana Nano 2.1b Base

🚀 Kanana

Kanana是由Kakao開發的一系列雙語語言模型，在韓語任務中表現卓越，在英語任務中也頗具競爭力。與同規模的先進模型相比，Kanana的計算成本顯著降低。該系列模型參數範圍從21億到325億，其中21億參數的模型（基礎、指令、嵌入、函數調用和RAG）已公開發布，以推動韓語語言模型的研究。

🚀 快速開始

🤗 HuggingFace Transformers

運行Kanana模型需要transformers>=4.45.0或最新版本。

pip install transformers>=4.45.0

kanana-nano-2.1b-base的使用示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "kakaocorp/kanana-nano-2.1b-base"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
).to("cuda")
tokenizer = AutoTokenizer.from_pretrained(model_name, padding_side="left")
tokenizer.pad_token = tokenizer.eos_token

prompt1 = "이처럼 인간처럼 생각하고 행동하는 AI 모델은 "
prompt2 = "Kakao is a leading company in South Korea, and it is known for "

input_ids = tokenizer(
    [prompt1, prompt2],
    padding=True,
    return_tensors="pt",
)["input_ids"].to("cuda")

_ = model.eval()
with torch.no_grad():
    output = model.generate(
        input_ids,
        max_new_tokens=32,
        do_sample=False,
    )

decoded = tokenizer.batch_decode(output, skip_special_tokens=True)
for text in decoded:
    print(text)

# 輸出:
# 이처럼 인간처럼 생각하고 행동하는 AI 모델은 2020년대 중반에 등장할 것으로 예상된다. 2020년대 중반에 등장할 것으로 예상되는 AI 모델은 인간
# Kakao is a leading company in South Korea, and it is known for 1) its innovative products and services, 2) its commitment to sustainability, and 3) its focus on customer experience. Kakao has been recognized as

✨ 主要特性

我們推出的Kanana是一系列雙語語言模型（由Kakao開發），在韓語方面表現卓越，在英語方面也具有競爭力。Kanana的計算成本明顯低於同規模的最先進模型。報告詳細介紹了預訓練期間採用的技術，以實現計算高效且有競爭力的模型，包括高質量數據過濾、分階段預訓練、深度擴展以及剪枝和蒸餾。此外，報告還概述了Kanana模型後訓練期間採用的方法，包括監督微調（supervised fine-tuning）和偏好優化（preference optimization），旨在增強其與用戶無縫交互的能力。最後，報告詳細說明了用於語言模型適應特定場景的可行方法，如嵌入（embedding）、函數調用（function calling）和檢索增強生成（Retrieval Augmented Generation，RAG）。Kanana模型系列的參數範圍從21億到325億，其中21億參數的模型（基礎、指令、嵌入、函數調用和RAG）已公開發布，以促進韓語語言模型的研究。

⚠️ 重要提示

預訓練和後訓練數據均不包含Kakao用戶數據。

📊 性能表現

預訓練模型性能

後訓練模型性能

指令遵循基準測試

通用基準測試

嵌入模型性能

📄 許可證

Kanana模型採用CC-BY-NC-4.0許可證。

📚 引用信息

@misc{kananallmteam2025kananacomputeefficientbilinguallanguage,
      title={Kanana: Compute-efficient Bilingual Language Models}, 
      author={Kanana LLM Team and Yunju Bak and Hojin Lee and Minho Ryu and Jiyeon Ham and Seungjae Jung and Daniel Wontae Nam and Taegyeong Eo and Donghun Lee and Doohae Jung and Boseop Kim and Nayeon Kim and Jaesun Park and Hyunho Kim and Hyunwoong Ko and Changmin Lee and Kyoung-Woon On and Seulye Baeg and Junrae Cho and Sunghee Jung and Jieun Kang and EungGyun Kim and Eunhwa Kim and Byeongil Ko and Daniel Lee and Minchul Lee and Miok Lee and Shinbok Lee and Gaeun Seo},
      year={2025},
      eprint={2502.18934},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18934}, 
}

👥 貢獻者

• 預訓練：Yunju Bak、Doohae Jung、Boseop Kim、Nayeon Kim、Hojin Lee、Jaesun Park、Minho Ryu
• 後訓練：Jiyeon Ham、Seungjae Jung、Hyunho Kim、Hyunwoong Ko、Changmin Lee、Daniel Wontae Nam、Kyoung-Woon On
• 適配：Seulye Baeg、Junrae Cho、Taegyeong Eo、Sunghee Jung、Jieun Kang、EungGyun Kim、Eunhwa Kim、Byeongil Ko、Daniel Lee、Donghun Lee、Minchul Lee、Miok Lee、Shinbok Lee、Minho Ryu、Gaeun Seo

📞 聯繫方式

• Kanana LLM團隊技術支持：kanana-llm@kakaocorp.com
• 商務合作：alpha.k@kakaocorp.com