# 効率的な言語モデル

OpenELMはAppleが開発した効率的な言語モデルシリーズで、階層的スケーリング戦略によりパラメータ割り当てを最適化し、270Mから3Bまでの様々な規模の事前学習及び指示チューニングモデルを提供します。

フラッシュ線形アテンション（flash-linear attention）形式を採用したRWKV-7モデルで、英語テキスト生成タスクをサポートします。

OpenELMは、階層的パラメータ割り当て戦略を用いてモデル精度を向上させるオープンソースの効率的な言語モデルのセットで、2.7億から30億パラメータのプリトレーニングおよび指示チューニングバージョンを含みます。

OpenELMは、Transformerモデルの各層で効率的にパラメータを割り当てる階層的スケーリング戦略を採用した、オープンソースの効率的な言語モデルのセットです。

OpenELMは階層的スケーリング戦略でパラメータ割り当てを最適化したオープンソースの効率的言語モデル群で、2.7億から30億パラメータの事前学習版及び命令チューニング版を含みます。

OpenELMはオープンソースの効率的な言語モデルのセットで、階層的スケーリング戦略を用いてパラメータ割り当てを最適化し、モデルの精度を向上させます。270M、450M、1.1B、3Bの4つのパラメータ規模を含み、事前学習版と指示チューニング版を提供します。

OpenELMは、階層的スケーリング戦略を用いてパラメータ割り当てを最適化し、モデル精度を向上させる一連のオープンな効率的言語モデルです。2.7億から30億パラメータの事前学習版と指示チューニング版を提供しています。

RetNetアーキテクチャとTransformerを組み合わせた線形計算コスト推論モデルで、クロスアーキテクチャ転移学習により実現

このモデルはwikitextデータセットでTinyBERT_L-4_H-312_v2をファインチューニングしたバージョンで、主にテキスト関連タスクに使用されます。