Bert Base Uncased

🚀 BERT-base

BERT-base是一個針對俄語的預訓練雙向編碼器。該模型在包含開放社交數據的大型文本語料庫上，使用標準的掩碼語言模型（MLM）目標進行訓練。更多信息請參閱“訓練詳情”部分。

⚠️ 此模型僅包含編碼器部分，不包含任何預訓練的頭部。

🚀 快速開始

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("deepvk/bert-base-uncased")
model = AutoModel.from_pretrained("deepvk/bert-base-uncased")

text = "Привет, мир!"

inputs = tokenizer(text, return_tensors='pt')
predictions = model(**inputs)

✨ 主要特性

• 開發者：deepvk
• 模型類型：BERT
• 支持語言：主要為俄語，少量其他語言
• 許可證：Apache 2.0

🔧 技術細節

訓練詳情

該模型使用NVIDIA的源代碼進行訓練。詳情請參閱預訓練文檔。

訓練數據

總共使用了250GB的過濾文本，數據來源包括維基百科、書籍和社交語料庫。

架構詳情

📚 詳細文檔

評估

我們在Russian Super Glue開發集上對模型進行了評估。每個任務中的最佳結果用粗體標記。除了DeBERTa的蒸餾版本外，所有模型的大小相同。

📄 許可證

本項目採用Apache 2.0許可證。