Deberta V1 Distill

🚀 DeBERTa-distill

DeBERTa-distill是一個針對俄語的預訓練雙向編碼器。該模型在包含開放社交數據的大型文本語料庫上，使用標準的掩碼語言模型（MLM）目標進行訓練。更多信息請參閱“訓練詳情”部分。

⚠️ 此模型僅包含編碼器部分，沒有任何預訓練的頭部。

• 開發者： deepvk
• 模型類型： DeBERTa
• 支持語言： 主要為俄語，少量其他語言
• 許可證： Apache 2.0

🚀 快速開始

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("deepvk/deberta-v1-distill")
model = AutoModel.from_pretrained("deepvk/deberta-v1-distill")

text = "Привет, мир!"

inputs = tokenizer(text, return_tensors='pt')
predictions = model(**inputs)

📚 詳細文檔

📦 訓練數據

總共使用了400GB經過過濾和去重的文本。數據來源包括：維基百科、書籍、推特評論、Pikabu、Proza.ru、電影字幕、新聞網站和社交語料庫。

去重流程

1. 計算大小為5的分片（shingles）
2. 使用100個種子計算MinHash → 每個樣本（文本）得到一個大小為100的哈希值
3. 將每個哈希值分成10個桶 → 每個桶包含 (100 / 10) = 10 個數字，將每個桶哈希成1個哈希值 → 每個樣本得到10個哈希值
4. 為每個桶查找重複項：找出具有相同哈希值的樣本 → 計算成對的Jaccard相似度 → 如果相似度 >0.7，則認為是重複項
5. 收集所有桶中的重複項並過濾

🔧 訓練超參數

該模型在配備8個A100的機器上訓練了約15天。

🔧 架構細節

🔧 蒸餾過程

在蒸餾過程中，我們遵循 SANH等人 的方法。學生模型從 教師模型 初始化，僅選取每隔一層的參數。我們使用MLM損失和交叉熵損失，係數均為0.5。

📊 評估

我們在 Russian Super Glue 開發集上對模型進行了評估。每個任務的最佳結果用粗體標記。除了DeBERTa的蒸餾版本外，所有模型的大小相同。

📄 許可證

本項目採用Apache 2.0許可證。