Roberta Base

🚀 RoBERTa-base

ロシア語用の事前学習済み双方向エンコーダです。このモデルは、オープンなソーシャルデータを含む大規模なテキストコーパスを使用して、標準的なMLM目的で学習されました。詳細は「Training Details」セクションを参照してください。

⚠️ 重要提示

このモデルには事前学習済みのヘッドは含まれておらず、エンコーダ部分のみが含まれています。

🚀 クイックスタート

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("deepvk/roberta-base")
model = AutoModel.from_pretrained("deepvk/roberta-base")

text = "Привет, мир!"

inputs = tokenizer(text, return_tensors='pt')
predictions = model(**inputs)

📚 ドキュメント

学習データ

合計500GBの生テキスト。以下のデータの混合です：Wikipedia、書籍、Twitterコメント、Pikabu、Proza.ru、映画の字幕、ニュースウェブサイト、およびソーシャルコーパス。

学習ハイパーパラメータ

このモデルは、8xA100のマシンで約22日間学習されました。

アーキテクチャの詳細

評価

このモデルは、Russian Super Glueの開発セットで評価されました。各タスクでの最高結果は太字でマークされています。すべてのモデルは、DeBERTaの蒸留バージョンを除いて同じサイズです。

📄 ライセンス

Apache 2.0