Deberta V3 Japanese Xsmall

🚀 日本語版DeBERTa V3モデル

このモデルは、日本語リソースで事前学習された DeBERTa V3 をベースに構築されています。日本語の自然言語処理タスクに特化した性能を提供します。

🚀 クイックスタート

このモデルを使用するには、以下のコードを実行します。

from transformers import AutoTokenizer, AutoModelForTokenClassification

model_name = 'globis-university/deberta-v3-japanese-xsmall'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

✨ 主な機能

• 定評のある DeBERTa V3 を用いたモデル
• 日本語特化
• 推論時に形態素解析器を用いない
• 単語境界をある程度尊重する (の都合上 や の判定負けを喫し のような複数語のトークンを生じさせない)

📚 ドキュメント

トークナイザ

このモデルのトークナイザは、工藤氏によって示された手法で学習されています。以下のことを意識しています:

• 推論時の形態素解析器なし
• トークンが単語の境界を跨がない (辞書: unidic-cwj-202302)
• Hugging Faceで使いやすい
• 大きすぎない語彙数

本家の DeBERTa V3 は大きな語彙数で学習されていることに特徴がありますが、反面埋め込み層のパラメータ数が大きくなりすぎる (microsoft/deberta-v3-base モデルの場合で埋め込み層が全体の 54%) ことから、本モデルでは小さめの語彙数を採用しています。

注意点として、 xsmall 、 base 、 large の 3 つのモデルのうち、前者二つは unigram アルゴリズムで学習しているが、 large モデルのみ BPE アルゴリズムで学習しています。深い理由はなく、 large モデルのみ語彙サイズを増やすために独立して学習を行ったが、なぜか unigram アルゴリズムでの学習がうまくいかなかったことが原因です。原因の探究よりモデルの完成を優先して、 BPE アルゴリズムに切り替えました。

データセット

学習パラメータ

• デバイス数: 8
• バッチサイズ: 48 x 8
• 学習率: 3.84e-4
• 最大シーケンス長: 512
• オプティマイザ: AdamW
• 学習率スケジューラ: ウォームアップ付きの線形スケジュール
• 学習ステップ: 1,000,000
• ウォームアップステップ: 100,000
• 精度: 混合精度 (fp16)
• 語彙サイズ: 32,000

評価

📄 ライセンス

CC BY SA 4.0

謝辞

計算リソースに ABCI を利用させていただきました。ありがとうございます。