Roberta Base

🚀 RoBERTa-base

RoBERTa-base 是一個預訓練的雙向編碼器，專為處理俄語而設計。該模型在包含開放社交數據的大型文本語料庫上，使用標準的掩碼語言模型（MLM）目標進行訓練。如需更多信息，請參閱“訓練詳情”部分。

⚠️ 此模型僅包含編碼器部分，沒有任何預訓練的頭部。

🚀 快速開始

以下是使用該模型的基本代碼示例：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("deepvk/roberta-base")
model = AutoModel.from_pretrained("deepvk/roberta-base")

text = "Привет, мир!"

inputs = tokenizer(text, return_tensors='pt')
predictions = model(**inputs)

✨ 主要特性

• 開發團隊：deepvk
• 模型類型：RoBERTa
• 支持語言：主要為俄語，少量其他語言
• 許可證：Apache 2.0

📚 詳細文檔

📦 訓練數據

總共使用了 500GB 的原始文本，數據來源包括：維基百科、書籍、推特評論、Pikabu、Proza.ru、電影字幕、新聞網站和社交語料庫。

⚙️ 訓練超參數

該模型在配備 8 個 A100 GPU 的機器上訓練了約 22 天。

🏗️ 架構細節

📊 評估

我們在 Russian Super Glue 開發集上對該模型進行了評估。每個任務中的最佳結果用粗體標記。除了 DeBERTa 的蒸餾版本外，所有模型的規模相同。

📄 許可證

本模型採用 Apache 2.0 許可證。