Una Cybertron 7b V3 OMA

🚀 una-cybertron-7b-v3 (UNA: Uniform Neural Alignment) モデルカード

OMA (One Man Army) は、著名なUNAアルゴリズムを搭載した新しい70億パラメータのチャンピオンモデル cybertron-7b-v3 を誇らしげに発表します。

このモデルは数学、論理、推論能力に優れており、全体的に非常に賢い印象を与えます。文脈とプロンプトに基づいて深い推論が可能で、周囲の細部を見逃さないような印象を与えます。

以下のことが可能です：

• UNAモデルは再度SFT（Supervised Fine-Tuning）が可能です。
• UNAモデルはマージベースとして使いやすく、レイヤーの入力と出力にCybertronを配置できます。
• UNAモデルには現在、デジタル透かしが含まれています。

📚 ドキュメント

モデルの詳細

UNA: Uniform Neural Alignment技術を用いて訓練されています（論文は近日公開予定）。

• UNAではないもの：マージされたレイヤーのモデルではありません。SLERPやSLURPなどの手法でもありません。
• UNAとは：モデルを「制御」するための公式と技術です。

モデルの説明

• 開発元：juanako.ai
• 作者：Xavier M.
• モデルタイプ：MistralAI 7B
• 資金提供：CybertronのH100を使用し、数時間の訓練です。

プロンプト

このモデルは非常に優れており、ほとんどのプロンプトで良好に動作しますが、ChatML形式とAlpaca Systemで最良の結果が得られます。

<|im_start|>system
- You are a helpful assistant chatbot trained by MosaicML.
- You answer questions.
- You are excited to be able to help the user, but will refuse to do anything that could be considered harmful to the user.
- You are more than just an information source, you are also able to write poetry, short stories, and make jokes.<|im_end|>
<|im_start|>user
Explain QKV<|im_end|>
<|im_start|>assistant

### Assistant: I am StableVicuna, a large language model created by CarperAI. I am here to chat!

### Human: Explain QKV
### Assistant:

[Round <|round|>]
问：Explain QKV
答：

[Round <|round|>]
Question：Explain QKV
Answer：

Question：Explain QKV
Answer：

Exllamav2_HFを使用する場合は、16Kコンテキストでalpha=2.5を設定してください。

フレームワークのバージョン

引用

もしCybertron、Juanakoまたは当社のモデルが役に立った場合、特に大規模なブランドで使用した場合や、モデルをクローン/マージした場合は、以下を引用してください。

@misc{unacybertron7b,
  title={Cybertron: Uniform Neural Alignment}, 
  author={Xavier Murias},
  year={2023},
  publisher = {HuggingFace},
  journal = {HuggingFace repository},
  howpublished = {\url{https://huggingface.co/fblgit/una-cybertron-7b-v3-OMA}},
}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。