# 多段階トレーニング

OLMo 2 1Bはアレン人工知能研究所が公開したオープン言語モデルシリーズの中で最小のモデルで、OLMo-mix-1124で事前学習され、中間トレーニング段階でDolmino-mix-1124データセットが使用されました。

OLMo 2 32Bはアレン人工知能研究所(AI2)が公開したオープン言語モデルシリーズで最大規模の32Bパラメータモデルで、Apache 2.0ライセンスでオープンソース化されており、英語言語処理をサポートしています。

DeBERTa-v3-largeをファインチューニングした英語文法チェックモデルで、一般的な文法誤りの検出と修正に特化

ウクライナ語に最適化されたオープンソース大規模言語モデルで、ファインチューニング、モデル融合、直接選好最適化の3段階トレーニングプロセスで構築

これはsentence - transformersに基づくヘブライ語埋め込みモデルで、文章や段落を768次元の密集ベクトル空間にマッピングでき、クラスタリングや意味的検索などのタスクに適しています。

このモデルは、legal - pegasusをインドの法律データセットで微調整した法律文書要約モデルです。

LLaMA-2ベースの中英バイリンガルオープンソース大規模言語モデルで、約85億トークンの継続的な事前学習を経ており、4096トークンのコンテキストウィンドウをサポートします。

これはKLUE/NLIとKLUE/STSデータセットでトレーニングされた韓国語文埋め込みモデルで、sentence-transformersフレームワークを使用し、2段階のトレーニングにより文類似度タスクを最適化しています。