Deberta V1 Base

🚀 DeBERTa-base

DeBERTa-base是一個針對俄語的預訓練雙向編碼器。該模型在包含開放社交數據的大型文本語料庫上，使用標準的掩碼語言模型（MLM）目標進行訓練。更多信息請參閱“訓練詳情”部分。

⚠️ 重要提示

此模型僅包含編碼器部分，沒有任何預訓練的頭部。

• 開發者： deepvk
• 模型類型： DeBERTa
• 支持語言： 主要為俄語，少量其他語言
• 許可證： Apache 2.0

🚀 快速開始

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("deepvk/deberta-v1-base")
model = AutoModel.from_pretrained("deepvk/deberta-v1-base")

text = "Привет, мир!"

inputs = tokenizer(text, return_tensors='pt')
predictions = model(**inputs)

📦 安裝指南

文檔未提及安裝步驟，可參考transformers庫的官方安裝指南進行安裝。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("deepvk/deberta-v1-base")
model = AutoModel.from_pretrained("deepvk/deberta-v1-base")

text = "Привет, мир!"

inputs = tokenizer(text, return_tensors='pt')
predictions = model(**inputs)

📚 詳細文檔

訓練詳情

訓練數據

總共使用了400GB經過過濾和去重的文本。這些數據是以下幾種來源的混合：維基百科、書籍、推特評論、Pikabu、Proza.ru、電影字幕、新聞網站和社交語料庫。

去重流程

1. 計算大小為5的分片（shingles）。
2. 使用100個種子計算MinHash → 每個樣本（文本）得到一個大小為100的哈希值。
3. 將每個哈希值分成10個桶 → 每個桶包含 (100 / 10) = 10 個數字，將每個桶的數字哈希成1個哈希值 → 每個樣本得到10個哈希值。
4. 為每個桶查找重複項：找出具有相同哈希值的樣本 → 計算成對的Jaccard相似度 → 如果相似度 >0.7，則認為是重複項。
5. 收集所有桶中的重複項並過濾。

訓練超參數

該模型在配備8個A100的機器上訓練了約30天。

架構細節

評估

我們在 Russian Super Glue 開發集上對該模型進行了評估。每個任務中的最佳結果用粗體標記。除了DeBERTa的蒸餾版本外，所有模型的大小相同。

📄 許可證

本模型使用Apache 2.0許可證。