Deberta V3 Japanese Large

🚀 [DeBERTa V3 日本語モデル]

このモデルは、日本語リソースで事前学習された DeBERTa V3 ベースのモデルです。日本語特化の設計で、推論時に形態素解析器を必要とせず、単語境界をある程度尊重するという特徴を持ちます。

🚀 クイックスタート

このモデルを使用するには、以下のコードを参考にしてください。

from transformers import AutoTokenizer, AutoModelForTokenClassification

model_name = 'globis-university/deberta-v3-japanese-large'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

✨ 主な機能

• 定評のある DeBERTa V3 を用いたモデル
• 日本語特化
• 推論時に形態素解析器を用いない
• 単語境界をある程度尊重する (の都合上 や の判定負けを喫し のような複数語のトークンを生じさせない)

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForTokenClassification

model_name = 'globis-university/deberta-v3-japanese-large'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

📚 ドキュメント

トークナイザ

このモデルのトークナイザは、工藤氏によって示された手法で学習されています。以下の点に配慮されています。

• 推論時の形態素解析器なし
• トークンが単語の境界を跨がない (辞書: unidic-cwj-202302)
• Hugging Faceで使いやすい
• 大きすぎない語彙数

本家の DeBERTa V3 は大きな語彙数で学習されていますが、埋め込み層のパラメータ数が大きくなりすぎる問題があります。そのため、このモデルでは小さめの語彙数を採用しています。

注意点として、 xsmall 、 base 、 large の 3 つのモデルのうち、前者二つは unigram アルゴリズムで学習されていますが、 large モデルのみ BPE アルゴリズムで学習されています。これは、 large モデルを独立して学習して語彙サイズを増やそうとした際に、unigram アルゴリズムでの学習がうまくいかなかったためです。原因の探究よりモデルの完成を優先して、BPE アルゴリズムに切り替えました。

データセット

学習パラメータ

• デバイス数: 8
• バッチサイズ: 8 x 8
• 学習率: 6.4e-5
• 最大シーケンス長: 512
• オプティマイザ: AdamW
• 学習率スケジューラ: Linear schedule with warmup
• 学習ステップ: 2,000,000
• ウォームアップステップ: 100,000
• 精度: Mixed (fp16)
• 語彙サイズ: 48,000

評価

📄 ライセンス

CC BY SA 4.0

謝辞

計算リソースに ABCI を利用させていただきました。ありがとうございます。