Robbertje 1 Gb Non Shuffled

🚀 RobBERTje

RobBERTjeは、オランダ語の自然言語処理タスクに特化した、軽量化されたBERTベースのモデルコレクションです。様々なサイズと学習設定のモデルが用意されており、ユーザーのニーズに合わせて選択できます。

🚀 クイックスタート

RobBERTjeは、RobBERTをベースにした蒸留モデルのコレクションです。異なるサイズと学習設定の複数のモデルがあり、あなたのユースケースに合わせて選択できます。

また、性能の良いモデルのリリースに継続的に取り組んでいるので、リポジトリを監視して更新を確認してください。

📢 ニュース

• 2022年2月21日：RobBERTjeに関する論文がCLINジャーナルの第11巻に掲載されました！
• 2021年7月2日：4つのRobBERTjeモデルが公開されました。
• 2021年5月12日：RobBERTjeがCLIN31で口頭発表に採択されました！

✨ 主な機能

📦 モデル情報

📊 モデル一覧

📈 評価結果

🔍 内部評価結果

蒸留ライブラリに組み込まれたメトリックである pseudo perplexity (PPPL) を計算しました。このメトリックは、モデルが入力分布をどれだけうまく捉えているかを示します。

🔎 外部評価結果

教師モデルであるRobBERTと同様に、いくつかの下流タスクでモデルを評価しました。その後、オランダ語のNLIタスクであるSICK-NL もリリースされ、これを使ってモデルを評価しました。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。