Deberta V1 Base

🚀 DeBERTa-base

DeBERTa-baseはロシア語向けの事前学習された双方向エンコーダです。このモデルは、オープンなソーシャルデータを含む大規模なテキストコーパス上で、標準的なマスク言語モデル（MLM）の目標を使用して訓練されています。詳細については「訓練詳細」のセクションを参照してください。

⚠️ 重要な注意事項

このモデルにはエンコーダ部分のみが含まれており、事前学習されたヘッドはありません。

• 開発者: deepvk
• モデルタイプ: DeBERTa
• サポート言語: 主にロシア語、少量の他の言語
• ライセンス: Apache 2.0

🚀 クイックスタート

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("deepvk/deberta-v1-base")
model = AutoModel.from_pretrained("deepvk/deberta-v1-base")

text = "Привет, мир!"

inputs = tokenizer(text, return_tensors='pt')
predictions = model(**inputs)

📦 インストール

ドキュメントにインストール手順が記載されていないため、transformersライブラリの公式インストールガイドを参考にしてインストールしてください。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("deepvk/deberta-v1-base")
model = AutoModel.from_pretrained("deepvk/deberta-v1-base")

text = "Привет, мир!"

inputs = tokenizer(text, return_tensors='pt')
predictions = model(**inputs)

📚 ドキュメント

訓練詳細

訓練データ

合計400GBのフィルタリングと重複排除されたテキストが使用されました。これらのデータは、ウィキペディア、書籍、ツイッターのコメント、Pikabu、Proza.ru、映画の字幕、ニュースサイト、およびソーシャルコーパスなど、いくつかのソースの混合です。

重複排除の流れ

1. サイズ5のシングル（shingles）を計算します。
2. 100個のシードを使用してMinHashを計算します → 各サンプル（テキスト）について、サイズ100のハッシュ値を取得します。
3. 各ハッシュ値を10個のバケットに分割します → 各バケットには (100 / 10) = 10個の数字が含まれ、各バケットの数字を1つのハッシュ値にハッシュ化します → 各サンプルについて10個のハッシュ値を取得します。
4. 各バケットで重複項を検索します：同じハッシュ値を持つサンプルを見つけます → ペアごとのJaccard類似度を計算します → 類似度が0.7を超える場合、重複項と見なします。
5. すべてのバケットから重複項を収集し、フィルタリングします。

訓練ハイパーパラメータ

このモデルは、8つのA100を搭載したマシンで約30日間訓練されました。

アーキテクチャの詳細

評価

このモデルは Russian Super Glue 開発セットで評価されました。各タスクでの最良の結果は太字で示されています。DeBERTaの蒸留バージョンを除くすべてのモデルは同じサイズです。

📄 ライセンス

このモデルはApache 2.0ライセンスで提供されています。