Deberta V3 Japanese Base

🚀 日本語版DeBERTa V3モデル

このモデルは、日本語リソースで事前学習された DeBERTa V3 ベースのモデルです。日本語の自然言語処理タスクに特化しており、推論時の形態素解析器不要などの利点があります。

🚀 クイックスタート

モデルの使用方法

from transformers import AutoTokenizer, AutoModelForTokenClassification

model_name = 'globis-university/deberta-v3-japanese-base'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

✨ 主な機能

• 定評のある DeBERTa V3 を用いたモデル
• 日本語特化
• 推論時に形態素解析器を用いない
• 単語境界をある程度尊重する (の都合上 や の判定負けを喫し のような複数語のトークンを生じさせない)

📚 ドキュメント

Tokenizer

工藤氏によって示された手法で学習しました。以下のことを意識しています:

• 推論時の形態素解析器なし
• トークンが単語の境界を跨がない (辞書: unidic-cwj-202302)
• Hugging Faceで使いやすい
• 大きすぎない語彙数

本家の DeBERTa V3 は大きな語彙数で学習されていることに特徴がありますが、反面埋め込み層のパラメータ数が大きくなりすぎる (microsoft/deberta-v3-base モデルの場合で埋め込み層が全体の 54%) ことから、本モデルでは小さめの語彙数を採用しています。

注意点として、 xsmall 、 base 、 large の 3 つのモデルのうち、前者二つは unigram アルゴリズムで学習しているが、 large モデルのみ BPE アルゴリズムで学習している。深い理由はなく、 large モデルのみ語彙サイズを増やすために独立して学習を行ったが、なぜか unigram アルゴリズムでの学習がうまくいかなかったことが原因である。原因の探究よりモデルの完成を優先して、 BPE アルゴリズムに切り替えた。

データセット

学習パラメータ

• デバイス数: 8
• バッチサイズ: 24 x 8
• 学習率: 1.92e-4
• 最大シーケンス長: 512
• オプティマイザ: AdamW
• 学習率スケジューラ: ウォームアップ付き線形スケジュール
• 学習ステップ数: 1,000,000
• ウォームアップステップ数: 100,000
• 精度: 混合精度 (fp16)
• 語彙サイズ: 32,000

評価結果

📄 ライセンス

CC BY SA 4.0

謝辞

計算リソースに ABCI を利用させていただきました。ありがとうございます。