Robbertje 1 Gb Shuffled

🚀 RobBERTje

RobBERTに基づく蒸留されたオランダ語のモデルコレクションで、異なるサイズとトレーニング設定の複数のモデルがあります。

🚀 クイックスタート

RobBERTjeは、RobBERTに基づく蒸留モデルのコレクションです。異なるサイズとトレーニング設定の複数のモデルがあり、使用ケースに合わせて選択できます。

また、より性能の高いモデルのリリースに継続的に取り組んでいるので、リポジトリを監視して更新を確認してください。

📚 ドキュメント

ニュース

• 2022年2月21日: RobBERTjeに関する論文がCLINジャーナルの11巻に掲載されました！
• 2021年7月2日: 4つのRobBERTjeモデルが公開されました。
• 2021年5月12日: RobBERTjeはCLIN31で口頭発表が承認されました！

モデル

結果

内部評価結果

[cite]からの 疑似困惑度 (PPPL) を計算しました。これは、私たちの蒸留ライブラリに組み込まれたメトリックです。このメトリックは、モデルが入力分布をどれだけうまく捉えているかを示します。

外部評価結果

教師モデルのRobBERTと同様に、いくつかの下流タスクでモデルを評価しました。その評価以降、オランダ語のNLIタスクであるSICK-NLもリリースされ、これを使ってモデルを評価しました。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。