# 命令チューニング

GemmaはGoogleが提供する軽量級のオープンモデルシリーズで、Geminiと同じ技術に基づいて構築されており、テキスト生成タスクに適しています。

SLERP法でマージされた8Bパラメータ言語モデル、DeepSeek-R1とNemotron-8Bモデルの利点を統合

Gemma 3はGoogleが提供する軽量で先進的なマルチモーダルオープンモデルで、Geminiモデルと同じ研究と技術に基づいて構築されており、テキストと画像の入力をサポートしテキスト出力を生成します。

Gemma 3はGoogleが開発した軽量オープンソース大規模言語モデルで、このリポジトリでは4Bパラメータ版のW4A16量子化モデルを提供し、ハードウェア要件を大幅に低減します。

Gemma 3はGoogleが提供する軽量で最先端のオープンソースマルチモーダルモデルで、画像とテキストの入力とテキスト出力をサポートし、128Kのコンテキストウィンドウと140以上の言語に対応しています。

Gemma 3はGoogleが提供する軽量で先進的なオープンモデルシリーズで、Geminiモデルと同じ研究と技術に基づいて構築されています。このモデルはマルチモーダルモデルであり、テキストと画像の入力を処理し、テキスト出力を生成できます。

ELYZA社が訓練した大規模言語モデルで、Meta-Llama-3-8B-Instructを基に日本語能力を強化

GemmaはGoogleが提供する軽量オープンソース大規模言語モデルシリーズで、Geminiモデルと同じ技術に基づいて構築されており、様々なテキスト生成タスクに適しています。

サイクロン0.5*はロシア語と英語をサポートするオープンソースの大規模言語モデルで、RoPEコンテキストウィンドウを32kに拡張し、JSON処理とマルチターン対話能力を最適化しました

Meta-Llama-3-70B-InstructはMetaがリリースした700億パラメータ規模の命令チューニング大規模言語モデルで、対話ユースケースに最適化されており、安全性と有用性の面で優れた性能を発揮します。

OpenELMは階層的スケーリング戦略でパラメータ割り当てを最適化したオープンソースの効率的言語モデル群で、2.7億から30億パラメータの事前学習版及び命令チューニング版を含みます。

CodeGemmaはGemmaを基に構築された軽量オープンソースコードモデルコレクションで、コード生成、補完、対話タスクに特化しています。

CodeGemmaはGemmaをベースに構築された軽量オープンソースコードモデルシリーズで、コード補完、生成、対話タスクに特化しています。

Code LlamaはMetaがリリースした事前学習済みテキスト生成モデルシリーズで、コード生成と理解に特化しており、70億から340億パラメータの異なるバージョンが含まれています。

Llama 2シリーズを基に日本語能力を強化したオープンソース大規模言語モデルで、7B/13B/70Bの3つの規模と命令チューニング版を提供

Llama2 7Bモデルを基に命令チューニングを行った生物医学分野専用モデル

CodeLlama-13b-InstructはMetaがリリースした130億パラメータの命令チューニングコード生成モデルで、安全な命令追従とコードアシスタントアプリケーション向けに設計されています

これはopen-instruct-v1データセットでファインチューニングされたGPT2モデルで、アルパカ形式のプロンプトテンプレートを使用して命令チューニングを行っています。