# RLHF微調整

DMind-1はQwen3-32Bをベースに構築されたWeb3専門家モデルで、監督付き命令微調整と人間のフィードバック強化学習を通じてWeb3エコシステムに最適化されており、タスクの正確性、コンテンツの安全性、専門家レベルのインタラクション調整において顕著な向上を実現しています。

Llama 3.2 は Meta がリリースした 1B および 3B パラメータ規模の多言語生成モデルコレクションで、対話シナリオ向けに最適化され、複数の言語タスクをサポートします。

Llama 3.2はMetaが開発した多言語大規模言語モデルで、1Bと3Bの2種類のパラメータ規模を提供し、様々な言語タスクをサポートし、既存のオープンソースおよびクローズドソースモデルよりも性能が優れています。

NVIDIAがカスタマイズした大規模言語モデルで、大規模言語モデルがユーザーのクエリに対して生成する返答の有用性を向上させることを目的としています。

これは日本語会話データセットで微調整されたMeta-Llama-3-8B-Instructモデルで、日本語会話タスクに特化しています。

スミレシリーズ言語モデルは命令追従とロシア語対話維持のために特別に訓練されており、第4世代はRLHFで最適化され、より強力な応答能力と豊富な情報量を備えています。

Llama 2はMetaによって開発された70億パラメータ規模の事前学習済みテキスト生成モデルで、オープンソースの大規模言語モデルシリーズに属します

Llama 2はMetaが開発したオープンソース大規模言語モデルシリーズで、70億から700億パラメータ規模をカバーし、英語テキスト生成タスクをサポートします。

StableVicuna-13BはVicuna-13B v0モデルをベースに、RLHFで微調整された対話モデルで、4ビットGPTQ量子化形式を採用しています。

StableVicuna-13BはVicuna-13B v0モデルを基に、人間のフィードバックによる強化学習（RLHF）と近接方策最適化（PPO）を用いて、様々な対話および命令データセットで微調整されたモデルです。

OPT-1.3bモデルを基に、DeepSpeed-ChatフレームワークでRLHF訓練を施した対話生成モデル