Deberta V3 Japanese Base

🚀 日本語預訓練DeBERTa V3模型

這是一個基於日本語資源進行預訓練的 DeBERTa V3 模型。該模型專為日語設計，具有高效、精準等特點，能為日語相關的自然語言處理任務提供強大支持。

🚀 快速開始

以下是使用該模型的示例代碼：

from transformers import AutoTokenizer, AutoModelForTokenClassification

model_name = 'globis-university/deberta-v3-japanese-base'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

✨ 主要特性

本模型具備以下顯著特徵：

• 經典架構：基於知名的 DeBERTa V3 模型構建。
• 日語特化：專門針對日語進行優化，更適配日語處理任務。
• 無需形態素解析：推理過程中無需使用形態素解析器，提升處理效率。
• 尊重單詞邊界：在一定程度上尊重單詞邊界，避免生成跨多個單詞的標記。

📦 訓練數據

🔧 技術細節

分詞器

該分詞器採用 工藤氏提出的方法 進行訓練，設計時考慮了以下幾點：

• 無需形態素解析：推理時無需使用形態素解析器。
• 尊重單詞邊界：分詞結果不會跨越單詞邊界（使用詞典：unidic - cwj - 202302）。
• 易於使用：便於在 Hugging Face 平臺使用。
• 詞彙量適中：採用較小的詞彙量，避免嵌入層參數過多。

原 DeBERTa V3 模型以大詞彙量為特點，但這會導致嵌入層參數數量大幅增加（對於 [microsoft/deberta - v3 - base](https://huggingface.co/microsoft/deberta - v3 - base) 模型，嵌入層佔總量的 54%）。因此，本模型採用了較小的詞彙量（32,000）。

需要注意的是，在 xsmall、base 和 large 這三個模型中，前兩個使用 unigram 算法進行訓練，而 large 模型使用 BPE 算法訓練。原因在於，large 模型為了增加詞彙量進行了獨立訓練，但使用 unigram 算法訓練未成功，為了優先完成模型，最終切換到了 BPE 算法。

訓練參數

• 設備數量：8
• 批次大小：24 x 8
• 學習率：1.92e - 4
• 最大序列長度：512
• 優化器：AdamW
• 學習率調度器：帶熱身的線性調度
• 訓練步數：1,000,000
• 熱身步數：100,000
• 精度：混合精度（fp16）
• 詞彙量：32,000

📚 詳細文檔

評估結果

📄 許可證

本模型採用 CC BY SA 4.0 許可證。

🙏 致謝

本項目計算資源使用了 ABCI，在此表示感謝。