bert-base-uncasedオープンソースモデル - ロシア語のテキスト処理に無料で利用可能、大規模データを基に訓練されています

ホーム

Bert Base Uncased

deepvkによって開発

事前学習済みの双方向エンコーダで、ロシア語テキスト処理に適しており、大規模なソーシャルデータとウィキペディアで学習済み

大規模言語モデル

Transformers

複数言語対応オープンソースライセンス:Apache-2.0 #ロシア語テキスト処理 #双方向エンコーダ #ソーシャルデータ事前学習

ダウンロード数 465

リリース時間 : 2/7/2023

モデル概要

BERTアーキテクチャに基づくロシア語事前学習モデルで、テキスト特徴抽出タスクに特化しており、事前学習ヘッドモジュールは含まれていません

モデル特徴

ロシア語最適化

250GBのロシア語コーパスで学習済みで、ウィキペディアとソーシャルデータを含む

純粋エンコーダアーキテクチャ

エンコーダ部分のみを含み、下流タスクのファインチューニングに適している

厳格なデータフィルタリング

学習データは厳格な品質管理を経ている

モデル能力

ロシア語テキスト特徴抽出

コンテキスト意味エンコーディング

下流タスクファインチューニング基盤

使用事例

自然言語処理

テキスト分類

ロシア語ニュース分類/感情分析

Russian Super GlueのRCBタスクで0.467の精度を達成

質問応答システム

ロシア語読解タスク

DaNetQAタスクで0.737の精度を達成

🚀 BERT-base

ロシア語用の事前学習済み双方向エンコーダです。このモデルは、オープンなソーシャルデータを含む大規模なテキストコーパスで、標準的なMLM目的で学習されました。

🚀 クイックスタート

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("deepvk/bert-base-uncased")
model = AutoModel.from_pretrained("deepvk/bert-base-uncased")

text = "Привет, мир!"

inputs = tokenizer(text, return_tensors='pt')
predictions = model(**inputs)

✨ 主な機能

開発者: deepvk
モデルタイプ: BERT
言語: 主にロシア語と少量の他の言語
ライセンス: Apache 2.0

⚠️ 重要提示

このモデルには、事前学習済みのヘッドがなく、エンコーダ部分のみが含まれています。

📚 ドキュメント

学習の詳細

このモデルは、NVIDIAのソースコードを使用して学習されました。詳細については、事前学習のドキュメントを参照してください。

学習データ

合計250GBのフィルタリングされたテキスト。以下のデータの混合です：Wikipedia、書籍、ソーシャルコーパス。

アーキテクチャの詳細

引数	値
エンコーダレイヤー	12
エンコーダアテンションヘッド	12
エンコーダ埋め込み次元	768
エンコーダFFN埋め込み次元	3,072
活性化関数	GeLU
アテンションドロップアウト	0.1
ドロップアウト	0.1
最大位置	512
語彙サイズ	36000
トークナイザータイプ	BertTokenizer

評価

このモデルは、Russian Super Glueの開発セットで評価されました。各タスクでの最高結果は太字でマークされています。すべてのモデルは、DeBERTaの蒸留バージョンを除いて同じサイズです。

モデル	RCB	PARus	MuSeRC	TERRa	RUSSE	RWSD	DaNetQA	スコア
vk-deberta-distill	0.433	0.56	0.625	0.59	0.943	0.569	0.726	0.635
vk-roberta-base	0.46	0.56	0.679	0.769	0.960	0.569	0.658	0.665
vk-deberta-base	0.450	0.61	0.722	0.704	0.948	0.578	0.76	0.682
vk-bert-base	0.467	0.57	0.587	0.704	0.953	0.583	0.737	0.657
sber-bert-base	0.491	0.61	0.663	0.769	0.962	0.574	0.678	0.678