Zenz V2.5 Xsmall

🚀 zenz-v2.5-small

zenz-v2.5はかな漢字変換タスクに特化した条件付き言語モデルで、GPT - 2アーキテクチャを採用しています。ニューラルかな漢字変換システム「Zenzai」での利用を想定して開発されています。

✨ 主な機能

• 文字単位+バイト単位BPEトークナイザーを使用。
• かな漢字変換タスクにおいて高い性能を発揮。
• 文脈を考慮した変換で、精度が高い。

zenz-v2.5は3種類のモデルサイズで公開されています。

• zenz-v2.5-medium: 310Mの大規模モデル
• zenz-v2.5-small: 91Mの中規模モデル
• zenz-v2.5-xsmall: 26Mの小規模モデル

📚 ドキュメント

モデルの説明

CC - BY - SA 4.0で提供されている[ku - nlp/gpt2 - small - japanese - char](https://huggingface.co/ku - nlp/gpt2 - small - japanese - char)のトークナイザを利用しています。本モデルもCC - BY - SA 4.0で提供します。

モデルのソース

本モデルはZenzai（AzooKeyKanaKanjiConverter）と共に利用することを想定して構築しています。

• リポジトリ: https://github.com/ensan - hcl/AzooKeyKanaKanjiConverter

データソース

本モデルは[zenz - v2.5 - dataset](https://huggingface.co/datasets/Miwa - Keita/zenz - v2.5 - dataset)を利用して構築しました。

謝辞

本モデルの構築にあたり、さくらインターネット株式会社様より計算資源の支援をいただきました。感謝申し上げます。

また、以下のライブラリやツール、言語資源を活用して本モデルを構築しました。

• MeCab (https://taku910.github.io/mecab/)
• ipadic - NEologd (https://github.com/neologd/mecab - ipadic - neologd)
• torch (https://pypi.org/project/torch/)
• transformers (https://pypi.org/project/transformers/)
• datasets (https://pypi.org/project/datasets/)
• jaconv (https://pypi.org/project/jaconv/)
• llama.cpp (https://github.com/ggerganov/llama.cpp)
• llm.c (https://github.com/karpathy/llm.c)

📄 ライセンス

本モデルはCC - BY - SA 4.0のライセンスの下で提供されています。