Una Xaberius 34b V1beta

🚀 UNA-XABERIUS-34B-V1-BETA (UNA: 統一ニューラルアライメント) モデルカード

このモデルは、Juanako.AIによる別の優れたモデルです。

通常の量子化モデルにはいくつかの問題があることが判明しました。これらのモデルを使用して、Xaberius-34Bを最大限に活用してください。残念ながら、TheBlokeのモデルは使用できませんでした。うまくいかない結果が得られてしまったようです。

XABERIUS 34B v1-BETA をご紹介します。これは、34BのLLaMa-Yi-34Bベースの実験的モデルで、シリーズの中で最良の性能を発揮します。複数のデータセットでSFT、DPO、UNA（統一ニューラルアライメント）を用いて学習されています。

タイムライン

• 2023年12月5日 v1-beta リリース
• 2023年12月8日 評価を2日間実施中...まだ結果は出ていません
• 2023年12月9日 評価完了、1位を確定 汚染され資格喪失となったtigerbotを上回りました :)

結果はこちら

余談ですが、テストには19時間かかりました。Hugging Faceがこのモデルを48時間保持していた間に何が起こったのか、他の結果を手動で公開しているのでしょうか...

✨ 主な機能

評価結果

• 2023年12月8日、Hugging Faceのリーダーボードで、前の1位であったtigerbot-70b-chatを上回り、平均スコア74.21で1位にランクインしました。
• MMLUで79.13のスコアを獲得し、34Bモデルだけでなく、すべてのオープンソースLLMにおいて新記録を樹立しました :)

余談ですが、MMLUのスコアは79以上と非常に安定していました。不思議なことに、この不規則性についてさらに調査する予定です。

📚 詳細ドキュメント

モデルの詳細

UNA（統一ニューラルアライメント）技術を用いて学習されています（論文は近日公開予定）。

• UNAではないもの：レイヤーをマージしたモデルではありません。SLERPやSLURPなどの手法でもありません。
• UNAとは：モデルを制御するための式と技術です。
• コードと論文はいつ公開されるのか：時間ができたら公開します。貢献いただければ、より早く公開できるでしょう。

モデルの説明

• 開発元: juanako.ai
• 作者: Xavier M.
• 投資家への問い合わせ先 こちら
• モデルタイプ: LLaMa YI-34B
• 資金提供元: CybertronのH100を使用し、数時間の学習で開発されました。

プロンプト

このモデルは非常に優れており、ほとんどのプロンプトで良好に動作しますが、ChatML形式とAlpaca Systemを使用すると最適な結果が得られます。

<|im_start|>system
- あなたは、MosaicMLによって学習された役立つアシスタントチャットボットです。
- 質問に答えます。
- ユーザーを助けることができることを嬉しく思っていますが、ユーザーに害を及ぼすと考えられることは拒否します。
- あなたは単なる情報源ではなく、詩や短編小説を書いたり、ジョークを言ったりすることもできます。<|im_end|>
<|im_start|>user
Explain QKV<|im_end|>
<|im_start|>assistant

### Assistant: I am StableVicuna, a large language model created by CarperAI. I am here to chat!

### Human: Explain QKV
### Assistant:

[Round <|round|>]
問：Explain QKV
答：

[Round <|round|>]
Question：Explain QKV
Answer：

Question：Explain QKV
Answer：

フレームワークのバージョン

• Transformers 4.35.2-UNA
• Pytorch 2.1.0
• Datasets 2.14.6
• Tokenizers 0.14.1

引用

もしXaberius、Cybertron、Juanakoまたは当社の他のモデルが役に立った場合、特に大規模なブランドで使用したり、モデルをクローニング/マージ/SLERPした場合は、以下のように引用してください。

@misc{unaxaberius34b,
  title={Xaberius 34B: Uniform Neural Alignment}, 
  author={Xavier Murias},
  year={2023},
  publisher = {HuggingFace},
  journal = {HuggingFace repository},
  howpublished = {\url{https://huggingface.co/fblgit/una-xaberius-34b-v1beta}},
}

LoneStrikerによる高品質のExLLama2モデルが正常に動作することに感謝します。 Yi-34bチームによる優れたモデルに対して、大きな感謝を申し上げます。UNAは、事前学習モデルが良質であるからこそ、良い性能を発揮することができます。ありがとうございます！

Open LLM Leaderboardの評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このモデルは、CC BY-NC-ND 4.0ライセンスの下で提供されています。