OPEN SOLAR KO 10.7B

🚀 Open-Solar-Ko

Solar-Koは、upstage/SOLAR-10.7B-v1.0モデルの高度なバージョンで、語彙を拡張し、韓国語コーパスを追加して事前学習を強化しています。Open-Solar-Koは、AI Hub、Modu Corpus, 모두의 말뭉치、Korean Wikipediaなどの公開されている韓国語コーパスのみを利用しています。このモデルは、公開されているコーパスのみで学習されているため、Apache2.0オープンソースライセンスに基づき、誰でも無制限に使用できます。

🚀 クイックスタート

このセクションでは、Open-Solar-Koモデルの概要と基本的な使い方を説明します。

✨ 主な機能

• 拡張された韓国語語彙を持つ事前学習済み言語モデル。
• Llama-2から派生した最適化されたトランスフォーマーアーキテクチャを利用。
• 公開されている韓国語コーパスのみを使用して学習され、誰でも自由に利用できる。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

READMEに具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの詳細

• モデル開発者: Junbum Lee (Beomi)
• バリエーション: Solar-Koは、1つのパラメータサイズ（10Bの継続的事前学習バージョン）で利用可能です。
• 入力: このモデルはテキスト入力のみを受け付けます。
• 出力: このモデルはテキスト出力のみを生成します。
• モデルアーキテクチャ: SOLAR-KO-10.7Bは、Llama-2から派生した最適化されたトランスフォーマーアーキテクチャを利用した自己回帰型言語モデルです。

学習コーパス

このモデルは、AIHubとModu Corpusから選択されたデータセットを使用して学習されました。学習データセットの詳細情報は以下の通りです。

• AI Hub: corpus/AI_HUB
  • データのTrainingセグメントのみが使用されました。
  • ValidationとTestセグメントは意図的に除外されました。
• Modu Corpus: corpus/MODU_CORPUS

このモデルの学習に使用された最終的なJSONLデータセットのサイズは約61GBです。総トークン数は約150億トークン（*拡張トークナイザを使用。元のSOLARトークナイザでは、>600億トークン）です。

語彙拡張

トークン化の例

"안녕하세요, 오늘은 날씨가 좋네요."のトークン化

"Meet 10.7B Solar: Elevating Performance with Upstage Depth UP Scaling!"のトークン化

モデルベンチマーク

LM Eval Harness - Korean (polyglot branch)

引用

@misc {solar_ko_junbum_2023,
    author       = { {L. Junbum} },
    title        = { Solar-Ko-10.7b },
    year         = 2024,
    url          = { https://huggingface.co/beomi/SOLAR-KO-10.7B },
    publisher    = { Hugging Face }
}

謝辞

• 学習のサポートは、TPU Research Cloudプログラムによって提供されました。
• 学習コーパスには、AI Hub、Modu Corpus、Korean Wikipediaからのデータが含まれています。

🔧 技術詳細

SOLAR-KO-10.7Bは、Llama-2から派生した最適化されたトランスフォーマーアーキテクチャを利用した自己回帰型言語モデルです。このアーキテクチャは、韓国語の言語特性に合わせて最適化されており、拡張された韓国語語彙を持つ事前学習済み言語モデルを実現しています。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で公開されています。