Deberta V3 Japanese Large

🚀 日語預訓練DeBERTa V3模型

這是一個基於日本語資源預訓練的 DeBERTa V3 模型，專門針對日語進行了優化，在推理時無需使用形態素解析器，並且在一定程度上尊重單詞邊界。

🚀 快速開始

from transformers import AutoTokenizer, AutoModelForTokenClassification

model_name = 'globis-university/deberta-v3-japanese-large'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

✨ 主要特性

• 基於知名的 DeBERTa V3 模型構建。
• 專為日語設計，更貼合日語語言特性。
• 推理時無需使用形態素解析器，簡化處理流程。
• 一定程度上尊重單詞邊界，不會產生跨多個單詞的標記（如 の都合上 或 の判定負けを吃し）。

📚 詳細文檔

分詞器

分詞器採用 工藤氏提出的方法 進行訓練，設計時考慮了以下要點：

• 推理時無需形態素解析器。
• 標記不跨越單詞邊界（詞典：unidic-cwj-202302）。
• 易於與 Hugging Face 庫集成使用。
• 採用較小的詞彙量。

儘管原始的 DeBERTa V3 以大詞彙量為特點，但這可能導致嵌入層的參數數量顯著增加（對於 microsoft/deberta-v3-base 模型，嵌入層佔總數的 54%）。為解決此問題，本模型採用了較小的詞彙量。

需要注意的是，在 xsmall、base 和 large 這三個模型中，前兩個使用 unigram 算法進行訓練，而只有 large 模型使用 BPE 算法進行訓練。原因在於，large 模型為了增加詞彙量而單獨進行訓練時，unigram 算法訓練未能成功。為優先完成模型，因此切換到了 BPE 算法。

數據

訓練參數

• 設備數量：8
• 批次大小：8 x 8
• 學習率：6.4e-5
• 最大序列長度：512
• 優化器：AdamW
• 學習率調度器：帶熱身的線性調度
• 訓練步數：2,000,000
• 熱身步數：100,000
• 精度：混合精度（fp16）
• 詞彙量：48,000

評估

📄 許可證

CC BY SA 4.0

致謝

我們使用了 ABCI 提供的計算資源，在此表示感謝。