D

Deberta V1 Distill

Developed by deepvk
針對俄語預訓練的雙向編碼器模型,通過標準掩碼語言建模目標在大規模文本語料上訓練完成
Downloads 166
Release Time : 3/17/2023

Model Overview

這是一個基於DeBERTa架構的俄語預訓練模型,主要用於特徵提取任務。模型通過蒸餾技術壓縮,保留了教師模型的核心能力。

Model Features

高效蒸餾
採用SANH等人的蒸餾方法,通過間隔抽取教師模型層初始化,在保持性能的同時減小模型規模
大規模訓練數據
使用400GB經過嚴格去重的混合文本數據,包含維基百科、社交媒體、文學網站等多種來源
優化的去重流程
採用5字符shingle指紋和MinHash技術進行高效去重,確保訓練數據質量

Model Capabilities

俄語文本特徵提取
多語言理解
上下文編碼

Use Cases

自然語言處理
俄語文本分類
可用於俄語文本的情感分析、主題分類等任務
信息檢索
為俄語文檔生成高質量的嵌入表示,提升檢索效果
AIbase
Empowering the Future, Your AI Solution Knowledge Base
© 2025AIbase