# 大規模パラメータ

Metaが発表したPyTorchフレームワークに基づく事前学習言語モデルで、非商業研究用途に適しています。

複数のCaptain-Erisシリーズモデルをmergekitツールで統合した事前学習言語モデル

バイトダンス研究チームが発表した72Bパラメータ規模のマルチモーダル基礎モデルで、画像テキストからテキストへの変換タスクに特化

NLLB-200-3.3BはMeta（旧Facebook）が開発した多言語ニューラル機械翻訳モデルで、200言語間の翻訳タスクをサポートしています。

瑠璃リランカーは日本語汎用リランキングモデルで、Sentence Transformersアーキテクチャに基づき、日本語テキストの関連性順位付けタスクに特化しています。

T5（Text-to-Text Transfer Transformer）はGoogleが開発した汎用テキスト変換モデルで、様々な自然言語処理タスクを処理できます。

GTE-v1.5シリーズの大型英語テキストエンコーダーで、最大8192の文脈長をサポートし、改良されたBERTアーキテクチャに基づいて構築されています。

これはGPT-2アーキテクチャに基づく774Mパラメータの言語モデルで、FineWebデータセットの1500億トークンでトレーニングされています。

aya-23-35B-GGUF量子化版はCohereForAI/aya-23-35BのGGUF量子化バージョンで、23言語の多言語テキスト生成タスクをサポートします。

Code LlamaはMetaが発表した70億から340億パラメータ規模の事前学習及び微調整生成テキストモデルシリーズで、このモデルは130億パラメータのPython専用バージョンです

Code LlamaはMetaが開発した70億から340億パラメータ規模の事前学習及び微調整生成テキストモデルシリーズで、汎用コード生成と理解に適しています

Code LlamaはMetaが提供する70億から340億パラメータ規模のコード生成・理解モデルシリーズで、このバージョンは7Bベースモデルです

ヘブライ語-Gemma-11B生成テキストモデルを基に、マルチターン対話データセットで命令ファインチューニングしたバージョン

GNER-T5-xxlはFlan-T5アーキテクチャに基づく生成的命名エンティティ認識モデルで、パラメータ数は11Bに達し、ゼロショット認識タスクで優れた性能を発揮します。

Llama 2シリーズを基に日本語能力を強化したオープンソース大規模言語モデルで、7B/13B/70Bの3つの規模と命令チューニング版を提供

MetaがリリースしたLlama 2シリーズの13Bパラメータチャットモデル。GGUF量子化フォーマットを採用し、対話シーンに適しています

UpstageがLLaMAアーキテクチャに基づいて開発した65Bパラメータの命令微調整大規模言語モデルで、長文処理をサポート

KoLLaMAは韓国語/英語/コードデータセットでトレーニングされたLLaMAアーキテクチャの大規模言語モデルで、韓国語オープンソース大規模言語モデル研究に特化しています。

LLaMaアーキテクチャに基づく130億パラメータの大規模事前学習モデルで、中国語分かち書きを最適化し、1100億トークンの中英増分事前学習を完了し、中国語生成と理解能力を大幅に向上させました

PolyCoderは4億のパラメータを持つ大規模言語モデルで、コード生成と理解タスクに特化しています。

これはフランス語自動音声認識のための大規模なConformer-トランスデューサーモデルで、約1.2億のパラメータを持ち、1500時間以上のフランス語音声データでトレーニングされています。

BigScience 大規模オープンサイエンス多言語モデル、46の自然言語と12のプログラミング言語をサポート、1760億パラメータ

CodeGen-Mono 16Bは、プログラム合成のための自己回帰型言語モデルで、英語のプロンプトから実行可能なコードを生成することに特化しています。

BlenderBotはオープンドメインチャットボットモデルで、多輪対話と様々な対話スキルの融合に特化しています。

T5効率的ラージ-NH32はGoogleのT5モデルの深層ナロー変種で、モデルの深さを増やすことで下流タスクの性能向上に焦点を当てています。

これはゼロから訓練されたGPT2の大型モデル（7.62億個のパラメータ）で、オランダ語に特化しており、純粋なオランダ語mC4での困惑度は15.1です。

T5-Efficient-LARGEはGoogleのT5をベースにしたバリエーションで、深度狭幅アーキテクチャを採用して下流タスクの性能を最適化し、7.377億個のパラメータを持っています。