Deberta V3 Japanese Xsmall

🚀 日本語版DeBERTa V3模型

本項目基於日本語資源預訓練了 DeBERTa V3 模型。該模型專為處理日語文本而設計，在推理時無需形態素解析器，並且在一定程度上尊重單詞邊界，具有高效、準確等特點。

🚀 快速開始

以下是使用該模型進行標記分類的示例代碼：

from transformers import AutoTokenizer, AutoModelForTokenClassification

model_name = 'globis-university/deberta-v3-japanese-xsmall'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

✨ 主要特性

• 經典模型架構：基於知名的 DeBERTa V3 模型構建。
• 日語特化設計：專門針對日語進行訓練，更適合處理日語相關任務。
• 無需形態解析：推理時無需使用形態素解析器，提高處理效率。
• 尊重單詞邊界：生成的標記不會跨越多個單詞，如 の都合上 或 の判定負けを吃し 。

📦 安裝指南

暫未提及具體安裝步驟，可參考 Hugging Face 官方文檔進行模型和依賴庫的安裝。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForTokenClassification

model_name = 'globis-university/deberta-v3-japanese-xsmall'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

📚 詳細文檔

分詞器

分詞器採用 工藤氏提出的方法 進行訓練，設計時考慮了以下幾點：

• 無需形態解析：推理時無需使用形態素解析器。
• 不跨單詞邊界：標記不會跨越單詞邊界（使用字典： unidic-cwj-202302 ）。
• 易於使用：方便在 Hugging Face 平臺上使用。
• 較小詞彙量：採用較小的詞彙量，避免嵌入層參數過多。

需要注意的是，在 xsmall 、 base 和 large 三個模型中，前兩個使用 unigram 算法訓練，而 large 模型使用 BPE 算法訓練。這是因為在增加 large 模型詞彙量時，unigram 算法訓練效果不佳，為優先完成模型，最終切換到 BPE 算法。

訓練數據

訓練參數

• 設備數量：8
• 批次大小：48 x 8
• 學習率：3.84e-4
• 最大序列長度：512
• 優化器：AdamW
• 學習率調度器：帶熱身的線性調度
• 訓練步數：1,000,000
• 熱身步數：100,000
• 精度：混合精度（fp16）
• 詞彙量：32,000

評估結果

📄 許可證

本項目採用 CC BY SA 4.0 許可證。

致謝

本項目計算資源使用了 ABCI ，特此感謝。