# 言語モデルファインチューニング

gemma-2-9b-itモデルをベースに、重み付け選好最適化(WPO)手法でファインチューニングされた大規模言語モデルで、オフライン方策選好最適化の効果を向上させています。

これはPyTorchで実装されたNLPモデルで、言語モデルと予測ヘッドを組み合わせ、勾配逆伝播をサポートしています。

ヒンディー語、サンスクリット語、グジャラート語のウィキペディア記事で訓練されたマルチリンガルRoBERTaタイプのモデルで、3つのインド語族言語処理をサポートします。

GPT-2アーキテクチャに基づくロシア語事前学習言語モデルで、Sberbank AIによって開発され、ロシア語テキスト生成タスクに適しています。