# 因果言語モデル

ProGen2-xlargeはNijkampらが提案した基礎モデルに基づき、設定と順伝播を変更したタンパク質生成モデルです。

ProGen2-baseはNijkampらの研究に基づくタンパク質生成モデルで、タンパク質配列の生成と予測をサポートします。

MoAData社によって開発された医療分野の大規模言語モデルで、DPO手法を用いて自社製の医療データセットで訓練されています。

ProGen2-smallはNijkampらの研究に基づくタンパク質生成モデルで、軽微な設定調整とフォワードプロパゲーション処理を施したミラー版です。

Mambaは、transformersと互換性のある高効率シーケンスモデルで、7.9億のパラメータを持ち、因果言語モデリングタスクに適しています。

vortex-3bはOEvortexによって開発された27.8億パラメータの因果言語モデルで、Pythia-2.8bモデルをベースにVortex-50kデータセットでファインチューニングされています。

OpenCALMはCyberAgent社が開発した日本語データセットに基づく事前学習済みデコーダー専用言語モデルシリーズの3Bパラメータバージョンです。

Pythia-1BはEleutherAIが開発した解釈可能性研究専用の言語モデルで、Pythiaスイートの10億パラメータ規模バージョンであり、The Pileデータセットでトレーニングされています。

Pythia-6.9BはEleutherAIが開発した大規模言語モデルで、Pythiaスケーラブルスイートの一部であり、解釈可能性研究を促進するために設計されています。

PythiaはEleutherAIが開発した一連の因果言語モデルで、説明可能性研究のために設計されており、7000万から120億パラメータまでの8つのサイズを含み、154のトレーニングチェックポイントを提供します

Pythia-28億はEleutherAIが開発したスケーラブルな言語モデルスイートの一員で、大規模言語モデルの解釈可能性研究を促進するために設計されています。このモデルはTransformerアーキテクチャに基づいており、The Pileデータセットでトレーニングされ、28億のパラメータを持っています。

Pythia-1.4BはEleutherAIが開発した12億パラメータの因果言語モデルで、Pythiaスケールスイートの一部であり、解釈可能性研究のために設計されています。

GPT-2アーキテクチャに基づくタイ語因果言語モデル、OSCARデータセットでトレーニング済み

ノートリアス・ビッグ（The Notorious B.I.G.）の歌詞で微調整されたGPT - 2言語モデルで、同様のスタイルの歌詞テキストを生成できます。

これはベトナムのニュースデータで訓練されたGPT-Neo 1.3Bパラメータ規模のベトナム語因果言語モデルです

Toolバンドの歌詞を基に訓練されたGPT - 2言語モデルで、類似したスタイルの歌詞テキストを生成できます。

Skilletバンドの歌詞を基に微調整されたGPT - 2言語モデルで、同様のスタイルのテキスト内容を生成するために使用されます。

GPT - Neo 1.3BはEleutherAIによって開発された13億パラメータの自己回帰型言語モデルで、GPT - 3アーキテクチャに基づいて設計され、テキスト生成タスクに長けています。

rugpt3medium_based_on_gpt2に基づくロシア語抽象要約生成モデルで、Gazetaデータセットに特化して訓練されています。