# クロスランゲージ転移

USER2は次世代ロシア語汎用文エンコーダーで、最大8,192トークンのコンテキスト文表現をサポート。RuModernBERT-baseを基盤とし、検索と意味タスク向けに最適化

USER2は次世代ロシア語汎用文エンコーダーで、最大8,192トークンの長文コンテキスト表現をサポートするように設計されています。

EriBERTaは大規模な医学臨床コーパスで事前学習されたバイリンガル専門言語モデルで、臨床分野においてこれまでの全てのスペイン語モデルを凌駕し、卓越した医学テキスト理解と情報抽出能力を示しています。

facebook/mbart-large-50-many-to-many-mmtをファインチューニングした英語-グジャラート語翻訳モデル

これはフランス語のための密な単一ベクトルデュアルエンコーダーモデルで、意味検索に使用できます。このモデルはクエリとパッセージを768次元の密なベクトルにマッピングし、コサイン類似度で関連性を計算します。

これは facebook/mbart-large-50 の簡素版で、ロシア語と英語の埋め込みベクトルのみを保持し、語彙は25万から2.5万に削減されています。

bert-base-multilingual-casedモデルをxquadデータセットでファインチューニングした多言語QAモデル

xlm-roberta-baseをファインチューニングした固有表現抽出(NER)モデルで、評価データセットで優れた性能(F1スコア0.9777)を発揮

MiniLMは小型で効率的な事前学習言語モデルで、深層自己注意蒸留技術によりTransformerモデルを圧縮し、多言語理解と生成タスクをサポートします。

このモデルはカスケードアダプタ技術を使用し、英語データを活用して低リソース言語のQAシステム性能を向上させます。