Kanana 1.5 8b Instruct 2505

🚀 カナナ1.5-8Bインストラクトモデル

Kanana 1.5は、カナナモデルファミリーの新しいバージョンです。前バージョンに比べて、コーディング、数学、関数呼び出し機能が大幅に強化され、より複雑な現実世界の問題に幅広く適用できるようになりました。この新バージョンは、ネイティブで最大32Kトークンの長さを扱うことができ、YaRNを使用すると最大128Kトークンまで対応可能で、大規模なドキュメントや長い会話を扱う際にも一貫性を保つことができます。さらに、洗練された事後学習プロセスにより、より自然で正確な会話を実現しています。

1.5 HFモデル   |   1.5ブログ   |   技術レポート

🚀 クイックスタート

このセクションでは、Kanana 1.5モデルの概要と使用方法について説明します。

✨ 主な機能

• 強化された能力：コーディング、数学、関数呼び出し機能が大幅に向上し、複雑なタスクにも対応可能。
• 長文処理能力：ネイティブで最大32Kトークン、YaRNを使用すると最大128Kトークンの長さを扱える。
• 自然な会話：洗練された事後学習プロセスにより、より自然で正確な会話が可能。

📚 ドキュメント

ニュース

• 2025/05/23：Kanana 1.5モデルに関するブログ記事を公開し、HFモデルの重みをリリースしました。
• 2025/02/27：技術レポートとHFモデルの重みをリリースしました。
• 2025/01/10：Kanana Nanoモデルの開発に関するブログ記事を公開しました。
• 2024/11/14：Kananaモデルの開発に関するブログ記事（事前学習、事後学習）を公開しました。
• 2024/11/06：Kananaモデルの開発に関するプレゼンテーション動画を公開しました。

性能

ベースモデル評価

インストラクトモデル評価

⚠️ 重要提示

* Apache 2.0でリリースされたモデルは、他のモデルと比較して最新バージョンで学習されています。

32K以上の長さの処理

現在、HuggingFaceにアップロードされているconfig.jsonは、32,768以下のトークン長に設定されています。これを超えるトークンを処理するには、YaRNを適用する必要があります。以下のパラメータでconfig.jsonを更新することで、YaRNを適用して最大128Kのトークンシーケンスを処理できます。

"rope_scaling": {
    "factor": 4.4,
    "original_max_position_embeddings": 32768,
    "type": "yarn",
    "beta_fast": 64,
    "beta_slow": 2
},

貢献者

• 言語モデルトレーニング：Yunju Bak、Doohae Jung、Boseop Kim、Nayeon Kim、Hojin Lee、Jaesun Park、Minho Ryu
• 言語モデルアライメント：Jiyeon Ham、Seungjae Jung、Hyunho Kim、Hyunwoong Ko、Changmin Lee、Daniel Wontae Nam
• AIエンジニアリング：Youmin Kim、Hyeongju Kim

引用

@misc{kananallmteam2025kananacomputeefficientbilinguallanguage,
      title={Kanana: Compute-efficient Bilingual Language Models}, 
      author={Kanana LLM Team and Yunju Bak and Hojin Lee and Minho Ryu and Jiyeon Ham and Seungjae Jung and Daniel Wontae Nam and Taegyeong Eo and Donghun Lee and Doohae Jung and Boseop Kim and Nayeon Kim and Jaesun Park and Hyunho Kim and Hyunwoong Ko and Changmin Lee and Kyoung-Woon On and Seulye Baeg and Junrae Cho and Sunghee Jung and Jieun Kang and EungGyun Kim and Eunhwa Kim and Byeongil Ko and Daniel Lee and Minchul Lee and Miok Lee and Shinbok Lee and Gaeun Seo},
      year={2025},
      eprint={2502.18934},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18934}, 
}

連絡先

• Kanana LLMチーム技術サポート：kanana-llm@kakaocorp.com
• ビジネス・パートナーシップ連絡先：alpha.k@kakaocorp.com

📄 ライセンス

このモデルはApache 2.0ライセンスの下で公開されています。

⚠️ 重要提示

事前学習データと事後学習データのどちらにも、Kakaoのユーザーデータは含まれていません。