# DPO最適化

これは離散Hubertトークンに基づく音声言語モデルで、効率的なトレーニングに焦点を当て、音声セグメントの継続を生成できます。

DeepSeek-R1-Distill-Qwen-14Bを微調整したクリエイティブライティング強化モデルで、創作表現が大幅に向上

Turkish-Gemma-9b-v0.1はGemma-2-9bを基に開発されたトルコ語テキスト生成モデルで、継続的な事前学習、教師あり微調整（SFT）、直接選好最適化（DPO）、およびモデル統合技術によって最適化されています。

DPO手法でファインチューニングされた言語モデル、テキスト生成タスクに適応

UI-TARS-7B-DPO の量子化バージョンで、知識を大衆が共有できるようにすることに取り組んでいます。

SummLlama3.1-8BはLlama3.1-8B-Instructを初期化したテキスト要約モデルで、大規模な要約フィードバックを用いた直接選好最適化（DPO）トレーニングにより、忠実性、完全性、簡潔性の面で優れた性能を発揮します。

SummLlama3-70BはLlama3-70B-Instructをベースに初期化されたテキスト要約モデルで、大規模な要約フィードバックを用いたDPOトレーニングにより最適化され、忠実性、完全性、簡潔性の面で優れた性能を発揮します。

UNA-ThePitbull-21.4B-v2は21.4Bパラメータの大規模言語モデルで、70Bモデルに近い性能を持ち、EQとIQを融合させ、会話とテキスト生成に優れています。

OpenBioLLM-70Bは生物医学分野向けに設計された先進的なオープンソース言語モデルで、Meta-Llama-3-70B-Instructを微調整しており、生物医学タスクで卓越した性能を発揮します。

Rhea-72b-v0.5はSmaug-72B-v0.1を微調整した大規模言語モデルで、HuggingFaceオープン大規模モデルランキングで1位を獲得しています。

Nous Hermes 2は、Mistral 7B DPOをベースにした次世代の旗艦級7B Hermesモデルで、DPO最適化を施し、複数のテストベンチマークで優れた性能を発揮します。

ハンガリー語と英語に対応した人間の嗜好に沿ったチャットモデル、Llama-2-7bをハンガリー語用に適応

LLaVA-v1.5-13B-DPOはLLaVAフレームワークに基づく視覚言語モデルで、直接選好最適化(DPO)でトレーニングされ、推論効率向上のためにGGUF量子化フォーマットに変換されています。

DPOでトレーニングされた中国語テキスト校正モデルで、中国語テキストのスペルミスや文法誤りを自動検出・修正できます。

TheBeagleはThe Bagelデータセットでトレーニングされた70億パラメータモデルで、DPO（直接選好最適化）とUNA（統一ニューラルアーキテクチャ）技術を採用し、マルチタスクで優れた性能を発揮します。

特定のモデルをベースに改良された中規模のMoE実装モデルで、テキスト生成タスクに適しており、複数のベンチマークテストで良好な性能を示します。

SDXL超高速版と直接選好最適化(DPO)技術を組み合わせたテキスト画像生成モデルで、高速かつ高品質な画像生成をサポート

Rocket-3Bは30億パラメータの大規模言語モデルで、公開データセット上で直接選好最適化(DPO)によって訓練され、多くの大規模モデルを凌駕する性能を発揮します。