Hyperion 3.0 Mistral 7B DPO

🚀 Hyperion-3.0-Mistral-7B-DPO

このモデルは、質問応答、会話型AI、コード生成、医学テキスト理解、数学的推論、論理的推論など、幅広い複雑なタスクで優れた性能を発揮する高度な言語モデルです。

🚀 クイックスタート

このモデルを使用するには、以下のPythonコードを参考にしてください。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Locutusque/Hyperion-3.0-Mistral-7B-DPO"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# For a text generation task
input_text = "<|im_start|>user\nExplain the implications of quantum entanglement in layman's terms.<|im_end|>\n<|im_start|>assistant\n"
input_ids = tokenizer.encode(input_text, return_tensors="pt")

# Generate a response
outputs = model.generate(input_ids, max_length=200, do_sample=True, top_p=0.7, top_k=6

✨ 主な機能

• 質問応答、会話型AI、コード生成、医学テキスト理解、数学的推論、論理的推論など、多様なタスクに対応
• Direct Preference Optimization (DPO) を使用して微調整され、人間の好みに合わせた出力が可能

📦 モデル詳細

📚 モデル説明

Locutusque/Hyperion-3.0-Mistral-7B-DPO は、Direct Preference Optimization (DPO) を使用して、20,000の質の高い選好ペアのデータセットで微調整された高度な言語モデルです。これらの例は、GPT-4によって生成され、例外的な品質と関連性が保証されています。このモデルは、質問応答、会話型AI、コード生成、医学テキスト理解、数学的推論、論理的推論など、幅広い複雑なタスクで優れた性能を発揮するように設計されています。

📚 意図された使用方法

このモデルは、様々なドメインの難しい問題を解決するために、高度な能力と信頼性の高い言語モデルを求める研究者、開発者、組織を対象としています。潜在的な使用例は以下の通りです。

• 科学、医学、数学、コンピュータサイエンスのインテリジェントチュータリングシステムや教育アプリケーション
• 技術サポート、カスタマーサービス、ドメイン固有のチャットボットの高度な会話型AI
• ソフトウェア開発やプログラミング支援のためのコード生成と分析ツール
• 医療関係者や研究者のための医学テキスト分析と情報検索
• 学界や産業界のための数学的問題解決と論理的推論アプリケーション

📚 学習データ

Locutusque/Hyperion-3.0-Mistral-7B-DPO モデルは、20,000の選好ペアのデータセットで微調整され、そのうち4,000の例が微調整に使用されました。これらの例は、GPT-4によって生成され、プログラミング、医学テキスト、数学的問題、推論タスクなど、様々なドメインで最高の品質と関連性が保証されています。学習データは、Direct Preference Optimization (DPO) を使用してさらに最適化され、モデルの出力を人間の好みに合わせ、全体的な性能を向上させました。

📚 量子化モデル

• ExLlamaV2: https://huggingface.co/bartowski/Hyperion-3.0-Mistral-7B-DPO-exl2
• GGUF: https://huggingface.co/bartowski/Hyperion-3.0-Mistral-7B-DPO-GGUF

📚 評価結果

mmlu flan cot 5-shot

グループ別

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。