Zenz V2.5 Small

🚀 zenz-v2.5-small

zenz-v2.5是專門用於假名漢字轉換任務的基於GPT - 2架構的條件語言模型，旨在用於神經假名漢字轉換系統「Zenzai」。它具有字符和字節級別的BPE分詞器，在假名漢字轉換任務中表現出色，能夠結合上下文進行高效轉換。

✨ 主要特性

• 字符單位+字節單位BPE分詞器
• 在假名漢字轉換任務中具備高性能
• 考慮上下文的轉換，展現出優異性能

zenz-v2.5有三種模型尺寸可供使用：

• zenz-v2.5-medium：3.1億參數的大規模模型
• zenz-v2.5-small：9100萬參數的中規模模型
• zenz-v2.5-xsmall：2600萬參數的小規模模型

📚 詳細文檔

模型描述

本模型以在CC - BY - SA 4.0許可下提供的ku - nlp/gpt2 - small - japanese - char為基礎模型進行開發。本模型同樣遵循CC - BY - SA 4.0許可。

模型來源

本模型是為了與Zenzai（AzooKeyKanaKanjiConverter）共同使用而構建的。

• 倉庫地址：https://github.com/ensan - hcl/AzooKeyKanaKanjiConverter

數據來源

本模型使用了[zenz - v2.5 - dataset](https://huggingface.co/datasets/Miwa - Keita/zenz - v2.5 - dataset)進行構建。

📄 許可證

本模型採用CC - BY - SA 4.0許可證。

🔗 致謝

在構建本模型的過程中，我們得到了日本櫻花互聯網株式會社的計算資源支持，在此表示衷心感謝。此外，我們還使用了以下庫、工具和語言資源來構建本模型：

• MeCab (https://taku910.github.io/mecab/)
• ipadic - NEologd (https://github.com/neologd/mecab - ipadic - neologd)
• torch (https://pypi.org/project/torch/)
• transformers (https://pypi.org/project/transformers/)
• datasets (https://pypi.org/project/datasets/)
• jaconv (https://pypi.org/project/jaconv/)
• llama.cpp (https://github.com/ggerganov/llama.cpp)
• llm.c (https://github.com/karpathy/llm.c)