Deberta V1 Distill

🚀 DeBERTa-distill

このモデルは、ロシア語用の事前学習済み双方向エンコーダです。大規模なテキストコーパス（オープンなソーシャルデータを含む）を使用し、標準的なMLM目的で学習されました。詳細は「Training Details」セクションを参照してください。

⚠️ このモデルには事前学習済みのヘッドは含まれておらず、エンコーダ部分のみです。

• 開発者: deepvk
• モデルタイプ: DeBERTa
• 言語: 主にロシア語、一部他の言語
• ライセンス: Apache 2.0

🚀 クイックスタート

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("deepvk/deberta-v1-distill")
model = AutoModel.from_pretrained("deepvk/deberta-v1-distill")

text = "Привет, мир!"

inputs = tokenizer(text, return_tensors='pt')
predictions = model(**inputs)

📚 ドキュメント

学習データ

合計400GBのフィルタリングおよび重複排除されたテキストが使用されました。以下のデータの混合です：Wikipedia、書籍、Twitterコメント、Pikabu、Proza.ru、映画の字幕、ニュースウェブサイト、およびソーシャルコーパス。

重複排除手順

1. サイズ5のシングルを計算します。
2. 100個のシードでMinHashを計算します → 各サンプル（テキスト）についてサイズ100のハッシュを取得します。
3. 各ハッシュを10個のバケットに分割します → 各バケット（100 / 10 = 10個の数値を含む）を1つのハッシュにハッシュ化します → 各サンプルについて10個のハッシュを取得します。
4. 各バケットで重複を検索します：同じハッシュを持つサンプルを見つけ、ペアワイズのJaccard類似度を計算します → 類似度が0.7を超える場合、重複とみなします。
5. すべてのバケットから重複を収集し、フィルタリングします。

学習ハイパーパラメータ

このモデルは、8xA100のマシンで約15日間学習されました。

アーキテクチャ詳細

蒸留

蒸留手順では、SANH et al.に従っています。学生モデルは、教師モデルから2層ごとに取り出して初期化されます。MLM損失とCE損失を係数0.5で使用しています。

評価

このモデルは、Russian Super Glueの開発セットで評価されました。各タスクでの最良の結果は太字で示されています。すべてのモデルは、DeBERTaの蒸留バージョンを除いて同じサイズです。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。