# 小型RoBERTa

CodeBERTaはRoBERTaアーキテクチャに基づくコード理解モデルで、複数のプログラミング言語向けに特別に訓練されており、コード関連タスクを効率的に処理できます。

これはsentence-transformersベースの韓国語小型RoBERTaモデルで、文や段落を256次元の密ベクトル空間にマッピングでき、クラスタリングや意味検索などのタスクに適しています。

これはRoBERTaアーキテクチャに基づく小型のギリシャ語言語モデルで、パラメータ規模はベースモデルの約半分で、ギリシャ語テキストのマスク埋め込みタスクに適しています。

これはCC-100データセットで事前学習されたRoBERTaモデルで、ベラルーシ語テキスト処理タスクに適しています。