Deberta V1 Base

🚀 DeBERTa-base

DeBERTa-base是一个针对俄语的预训练双向编码器。该模型在包含开放社交数据的大型文本语料库上，使用标准的掩码语言模型（MLM）目标进行训练。更多信息请参阅“训练详情”部分。

⚠️ 重要提示

此模型仅包含编码器部分，没有任何预训练的头部。

• 开发者： deepvk
• 模型类型： DeBERTa
• 支持语言： 主要为俄语，少量其他语言
• 许可证： Apache 2.0

🚀 快速开始

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("deepvk/deberta-v1-base")
model = AutoModel.from_pretrained("deepvk/deberta-v1-base")

text = "Привет, мир!"

inputs = tokenizer(text, return_tensors='pt')
predictions = model(**inputs)

📦 安装指南

文档未提及安装步骤，可参考transformers库的官方安装指南进行安装。

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("deepvk/deberta-v1-base")
model = AutoModel.from_pretrained("deepvk/deberta-v1-base")

text = "Привет, мир!"

inputs = tokenizer(text, return_tensors='pt')
predictions = model(**inputs)

📚 详细文档

训练详情

训练数据

总共使用了400GB经过过滤和去重的文本。这些数据是以下几种来源的混合：维基百科、书籍、推特评论、Pikabu、Proza.ru、电影字幕、新闻网站和社交语料库。

去重流程

1. 计算大小为5的分片（shingles）。
2. 使用100个种子计算MinHash → 每个样本（文本）得到一个大小为100的哈希值。
3. 将每个哈希值分成10个桶 → 每个桶包含 (100 / 10) = 10 个数字，将每个桶的数字哈希成1个哈希值 → 每个样本得到10个哈希值。
4. 为每个桶查找重复项：找出具有相同哈希值的样本 → 计算成对的Jaccard相似度 → 如果相似度 >0.7，则认为是重复项。
5. 收集所有桶中的重复项并过滤。

训练超参数

该模型在配备8个A100的机器上训练了约30天。

架构细节

评估

我们在 Russian Super Glue 开发集上对该模型进行了评估。每个任务中的最佳结果用粗体标记。除了DeBERTa的蒸馏版本外，所有模型的大小相同。

📄 许可证

本模型使用Apache 2.0许可证。