14B DPO Alpha

🚀 CausalLM-DPOモデル

このモデルは、DPOトレーニングを行った最適化バージョンで、多様なデータセットを使用して訓練され、テキスト生成タスクに対応しています。

🚀 クイックスタート

詳細については、DPOトレーニングを行っていないバージョンを参照してください：CausalLM/14B。

📚 ドキュメント

データセット

このモデルは以下のデータセットを使用して訓練されています。

• JosephusCheung/GuanacoDataset
• Open-Orca/OpenOrca
• stingning/ultrachat
• meta-math/MetaMathQA
• liuhaotian/LLaVA-Instruct-150K
• jondurbin/airoboros-3.1
• WizardLM/WizardLM_evol_instruct_V2_196k
• RyokoAI/ShareGPT52K
• RyokoAI/Fandom23K
• milashkaarshif/MoeGirlPedia_wikitext_raw_archive
• wikipedia
• wiki_lingua
• fnlp/moss-003-sft-data
• garage-bAInd/Open-Platypus
• LDJnr/Puffin
• openbmb/llava_zh
• BAAI/COIG
• TigerResearch/tigerbot-zhihu-zh-10k
• liwu/MNBVC
• teknium/openhermes
• openbmb/UltraFeedback
• lmsys/lmsys-chat-1m

言語サポート

• en
• zh

パイプラインタグ

text-generation

タグ

• llama
• llama2
• qwen
• causallm

モデル評価

2023年12月3日現在、🤗 Open LLM Leaderboardで同サイズの非ベースモデルとして1位で、約13Bのチャットモデルをすべて上回っています。

モデルの注意点

これはCausalLM/14Bと7Bのベースで継続的にトレーニングされたバージョンではなく、以前のトレーニングブランチで同時にDPOトレーニングを行った最適化バージョンであり、一部の詳細パラメータが変更されている可能性があります。そのため、依然として完全なモデルをダウンロードする必要があります。

ベータバージョンの予告

ベータブランチは近日公開予定です。このバージョンでは、一部のタスクで不利になる可能性のある積極的なアプローチを採用し、人間の嗜好によりよく一致するように最適化し、GPT-3.5のベンチマークを達成または上回ることを目指しています。お楽しみに。

免責事項

このモデルはフィルタリングされていないインターネットデータで訓練されています。すべてのデータを精査する能力がないため、多くの不快な内容、ポルノ、暴力、攻撃的な言葉が含まれており、これらを削除することはできません。したがって、モデルの安全性を独自に確認し、出力のキーワードをフィルタリングする必要があります。計算資源の制約により、現在はモデルの倫理と安全性のためのRLHFを実装することも、特定の質問に答えないSFTサンプルでの制限的な微調整を行うこともできません。

📄 ライセンス

このモデルはWTFPLライセンスの下で提供されています。