# 自己回帰モデル

XGLM-564M は多言語自己回帰言語モデルで、5.64億のパラメータを含み、30言語のバランスの取れたコーパスに基づいて訓練され、合計5000億のサブワードで構成されています。

Liquidは自己回帰生成パラダイムであり、画像を離散コードにトークン化し、共有特徴空間でこれらのコード埋め込みとテキストトークンを学習することで、視覚的理解と生成のシームレスな融合を実現しました。

Lumina-mGPTはマルチモーダル自己回帰モデルファミリーで、特にテキスト記述に基づいて柔軟でリアルな画像を生成するなど、さまざまな視覚と言語タスクを得意としています。

Lumina-mGPTはマルチモーダル自己回帰モデルのファミリーで、テキスト記述に基づいて柔軟でリアルな画像を生成するのに優れており、さまざまな視覚と言語タスクを実行できます。

Lumina-mGPTはマルチモーダル自己回帰モデルファミリーで、テキスト記述に基づいて柔軟でリアルな画像を生成するのに優れており、さまざまな視覚と言語タスクを実行できます。

Lumina-mGPT はマルチモーダル自己回帰モデルのシリーズで、テキスト記述に基づいて柔軟でリアルな画像を生成するのに優れています。

Code LlamaはMetaがリリースしたコード生成と理解モデルのシリーズで、7Bから34Bパラメータの事前学習とファインチューニングバージョンを含みます。このモデルは7Bパラメータの命令ファインチューニング版で、コードアシスタントシナリオに最適化されています。

Code LlamaはMetaが提供する70億から340億パラメータ規模のコード生成・理解モデルシリーズで、このバージョンは7Bベースモデルです

Code LlamaはMetaが開発した70億パラメータのPython専用コード生成モデルで、Llama 2アーキテクチャを基に最適化され、Pythonコードの合成と理解タスクに特化しています

Perceiver ARアーキテクチャに基づくシンボリックオーディオモデルで、GiantMIDI-Pianoデータセットで事前学習され、シンボリックオーディオ生成に使用されます

CodeGen2は、プログラム合成のための一連の自己回帰言語モデルで、インフィル機能を備え、複数のプログラミング言語をサポートしています。

CodeGen-HTML 350MはCodeGen-Multi 350Mをファインチューニングした自己回帰言語モデルで、HTMLコード生成に特化しています。

CodeGenは、Pythonプログラミング言語データセットで事前学習されたプログラム合成のための一連の自己回帰言語モデルです。

EleutherAIのGPT-Neo 1.3Bモデルをファインチューニングしたバージョンで、アドベンチャー類のテキスト生成に特化しています。

XGLM-2.9Bは多言語自己回帰言語モデルで、29億のパラメータを持ち、5000億のサブワードからなる多様な言語のバランスの取れたコーパスでトレーニングされています。

XGLM-1.7Bは多言語自己回帰型言語モデルで、17億のパラメータを持ち、5000億のサブワードトークンからなる多様な言語のバランスの取れたコーパスで学習されています。

XGLM-4.5B は45億パラメータを持つ多言語自己回帰言語モデルで、134言語のバランスの取れたコーパスでトレーニングされています。

GPT-Neo 125Mは、GPT - 3アーキテクチャに基づくTransformerモデルで、EleutherAIによって開発され、パラメータ数は1億2500万で、主に英語のテキスト生成タスクに使用されます。

GPT-J 6BはMesh Transformer JAXフレームワークに基づいて訓練された60億パラメータの自己回帰言語モデルで、GPT-2/3と同じトークナイザーを採用しています。