# 事前学習済みベースモデル

BritLLMは未加工の事前学習モデルで、英国の複数の地域言語をサポートし、様々な自然言語処理タスクに適用可能ですが、ほとんどの使用シナリオに適応させるためにはさらなる微調整が必要です。

Zamba-7B-v1-phase1は、状態空間モデルMambaとTransformerのハイブリッドアーキテクチャで、Mambaをバックボーンネットワークとして使用し、6つのモジュールごとに1つのTransformer層を共有し、次の単語予測を通じてトレーニングされます。

VBARTは、VNGRSが開発したトルコ語コーパスをゼロから大規模に事前学習した初めてのシーケンス・ツー・シーケンス大規模言語モデルです。

VBARTはトルコ語コーパスを基にゼロから大規模に事前学習された初めてのシーケンス・ツー・シーケンス大規模言語モデルで、VNGRSによって開発されました。

Chronos-T5は言語モデルアーキテクチャに基づく事前学習済み時系列予測モデルで、時系列をトークン系列に変換し、クロスエントロピー損失を用いて言語モデルを訓練することで確率的予測を実現します。