Zenz V2.5 Medium

🚀 zenz-v2.5-small

zenz-v2.5-small是一款專為假名漢字轉換任務打造的條件語言模型，基於GPT - 2架構。該模型主要供神經網絡假名漢字轉換系統「Zenzai」使用，在假名漢字轉換任務中表現出色，能結合上下文實現高效轉換。

✨ 主要特性

• 獨特的分詞器：採用字符單位+字節單位的BPE分詞器。
• 高性能轉換：在假名漢字轉換任務中展現出高水準的性能。
• 上下文感知：能充分考慮上下文進行轉換，提升轉換效果。

zenz-v2.5提供了三種不同規模的模型：

• zenz-v2.5-medium：擁有3.1億參數的大規模模型。
• zenz-v2.5-small：具備9100萬參數的中規模模型。
• zenz-v2.5-xsmall：僅有2600萬參數的小規模模型。

📚 詳細文檔

模型描述

本模型基於CC - BY - SA 4.0許可的ku - nlp/gpt2 - medium - japanese - char基礎模型構建，並同樣以CC - BY - SA 4.0許可發佈。

• 開發者：Keita Miwa (𝕏)
• 模型類型：GPT - 2
• 適用語言（NLP）：日語
• 許可證：CC - BY - SA 4.0
• 微調基礎模型：ku - nlp/gpt2 - small - japanese - char

模型來源

本模型旨在與Zenzai（AzooKeyKanaKanjiConverter）配合使用。

• 倉庫地址：https://github.com/ensan - hcl/AzooKeyKanaKanjiConverter

數據來源

本模型使用zenz - v2.5 - dataset進行構建。

📄 許可證

本模型採用CC - BY - SA 4.0許可證。

🔗 致謝

在構建本模型的過程中，得到了sakura internet inc.的計算資源支持，在此表示衷心感謝。

此外，本模型的構建還藉助了以下庫、工具和語言資源：

• MeCab (https://taku910.github.io/mecab/)
• ipadic - NEologd (https://github.com/neologd/mecab - ipadic - neologd)
• torch (https://pypi.org/project/torch/)
• transformers (https://pypi.org/project/transformers/)
• datasets (https://pypi.org/project/datasets/)
• jaconv (https://pypi.org/project/jaconv/)
• llama.cpp (https://github.com/ggerganov/llama.cpp)
• llm.c (https://github.com/karpathy/llm.c)