Kanana 1.5オープンソースのバイリンガル大規模言語モデル - プログラミングと数学の能力に優れ、超長テキスト処理をサポート

ホーム

Kanana 1.5 2.1b Instruct 2505

kakaocorpによって開発

Kanana 1.5はKakaoが開発したバイリンガル大規模言語モデルで、プログラミング、数学、関数呼び出し能力が大幅に向上し、32Kトークンのコンテキスト長をサポート、YaRN拡張技術により128Kトークンの超長文処理が可能です。

大規模言語モデル

Transformers

複数言語対応オープンソースライセンス:Apache-2.0 #バイリンガル命令最適化 #超長文コンテキスト処理 #プログラミング数学強化

ダウンロード数 1,361

リリース時間 : 5/21/2025

モデル概要

Kanana 1.5は高効率計算のバイリンガル大規模言語モデルで、プログラミング、数学、関数呼び出し能力の向上に重点を置き、複雑なシナリオや長文処理に適しています。

モデル特徴

強化されたプログラミング能力

HumanEvalやMBPPなどのプログラミングベンチマークで優れた性能を発揮

数学的推論能力

GSM8KやMATHなどの数学ベンチマークで高得点を獲得

長文処理

ネイティブで32Kトークンのコンテキスト長をサポート、YaRN拡張により128Kトークン処理可能

バイリンガルサポート

英語と韓国語の同時処理をサポート

最適化された対話能力

最適化された後訓練プロセスにより、より自然で正確な対話応答が可能

モデル能力

テキスト生成

コード生成

数学問題解答

長文理解

バイリンガル処理

命令追従

使用事例

プログラミング支援

コード生成

自然言語の記述に基づいてコードを生成

HumanEvalテストで68.90点を達成

コード補完

コンテキストに基づいてコードを自動補完

MBPP+テストで65.08点を達成

数学応用

数学問題解答

複雑な数学問題を解決

GSM8Kゼロショットテストで81.43点を達成

対話システム

インテリジェントカスタマーサービス

自然で流暢なバイリンガルカスタマーサービス対話を提供

MT-Benchテストで7.01点を達成

🚀 カナナ 1.5 - 2.1B Instruct

カナナ 1.5は、カナナモデルファミリーの新しいバージョンで、コーディング、数学、関数呼び出し機能において大幅な向上を実現し、より複雑な実世界の問題に幅広く適用できます。このバージョンは、ネイティブで最大32Kトークンの長さを扱うことができ、YaRNを使用すると最大128Kトークンを扱うことが可能で、長い文書や会話を扱う際にも一貫性を維持できます。さらに、洗練された事後学習プロセスにより、より自然で正確な会話を提供します。

✨ 1.5 HFモデル | 📝 1.5ブログ | 📄 技術レポート

📢 ニュース

📅 2025/05/23: カナナ 1.5モデルに関するブログ記事を公開し、✨HFモデルの重みをリリースしました。
📄2025/02/27: 技術レポートと✨HFモデルの重みをリリースしました。
📝2025/01/10: カナナナノモデルの開発に関するブログ記事を公開しました。
📝2024/11/14: カナナモデルの開発に関するブログ記事（事前学習、事後学習）を公開しました。
🎥2024/11/06: カナナモデルの開発に関するプレゼンテーションビデオを公開しました。

🚀 カナナ 1.5

カナナ 1.5は、カナナモデルファミリーの新しいバージョンで、前バージョンに比べてコーディング、数学、関数呼び出し機能に大幅な向上が見られ、より複雑な実世界の問題に幅広く適用できます。この新バージョンは、ネイティブで最大32Kトークンの長さを扱うことができ、YaRNを使用すると最大128Kトークンを扱うことが可能で、長い文書や会話を扱う際にも一貫性を維持できます。さらに、洗練された事後学習プロセスにより、より自然で正確な会話を提供します。

⚠️ 重要な注意

事前学習データと事後学習データのどちらにも、カカオのユーザーデータは含まれていません。

✨ 性能評価

🔍 ベースモデル評価

モデル	MMLU	KMMLU	HAERAE	HumanEval	MBPP	GSM8K
Kanana-1.5-2.1B	56.30	45.10	77.46	52.44	47.00	55.95
Kanana-Nano-2.1B	54.83	44.80	77.09	31.10	46.20	46.32

🔍 命令型モデル評価

モデル	MT-Bench	KoMT-Bench	IFEval	HumanEval+	MBPP+	GSM8K (0-shot)	MATH	MMLU (0-shot, CoT)	KMMLU (0-shot, CoT)	FunctionChatBench
Kanana-1.5-2.1B*	7.01	6.54	68.61	68.90	65.08	81.43	60.62	53.87	32.93	53.70
Kanana-Nano-2.1B	6.40	5.90	71.97	63.41	62.43	72.32	29.26	52.48	38.51	26.10

⚠️ 重要な注意

* Apache 2.0でリリースされたモデルは、他のモデルと比較して最新バージョンで学習されています。

👥 貢献者

言語モデルの学習: Yunju Bak, Doohae Jung, Boseop Kim, Nayeon Kim, Hojin Lee, Jaesun Park, Minho Ryu
言語モデルのアラインメント: Jiyeon Ham, Seungjae Jung, Hyunho Kim, Hyunwoong Ko, Changmin Lee, Daniel Wontae Nam
AIエンジニアリング: Youmin Kim, Hyeongju Kim

📄 引用

@misc{kananallmteam2025kananacomputeefficientbilinguallanguage,
      title={Kanana: Compute-efficient Bilingual Language Models}, 
      author={Kanana LLM Team and Yunju Bak and Hojin Lee and Minho Ryu and Jiyeon Ham and Seungjae Jung and Daniel Wontae Nam and Taegyeong Eo and Donghun Lee and Doohae Jung and Boseop Kim and Nayeon Kim and Jaesun Park and Hyunho Kim and Hyunwoong Ko and Changmin Lee and Kyoung-Woon On and Seulye Baeg and Junrae Cho and Sunghee Jung and Jieun Kang and EungGyun Kim and Eunhwa Kim and Byeongil Ko and Daniel Lee and Minchul Lee and Miok Lee and Shinbok Lee and Gaeun Seo},
      year={2025},
      eprint={2502.18934},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18934}, 
}