# 2段階トレーニング

RoPEを採用したViT画像分類モデルで、CAPI事前トレーニングとImageNet-21Kファインチューニングを経ており、画像分類や検出タスクに適しています。

スウェーデン国立図書館が公開したWhisperモデルで、スウェーデン語に最適化されており、50,000時間以上のスウェーデン語音声データでトレーニングされ、OpenAIのオリジナル版を上回る性能

Bamba-9BはMamba-2アーキテクチャに基づくデコーダ専用言語モデルで、2段階トレーニングを経ており、幅広いテキスト生成タスクに優れています。

K2は650億パラメータ規模の大規模言語モデルで、完全に透明なトレーニング手法により、Llama 2 70Bを35%の計算量優位で凌駕しています。

Dragomanは文レベルの英語-ウクライナ語翻訳モデルで、2段階トレーニングプロセスを採用し、FLORES-101英語-ウクライナ語開発テストサブセットでBLEU値32.34の最高性能を達成しました。

Ahma-7BはMeta Llama(v1)アーキテクチャに基づく70億パラメータのデコーダー専用Transformerモデルで、完全にフィンランド語でゼロから事前学習されています。

Animagine XL 3.0 ベース版は、先進的なアニメテキストから画像を生成するモデルの基本バージョンで、コア機能の構築と重要な側面の改善に焦点を当てています。