UNA ThePitbull 21.4B V2

🚀 UNA-ThePitbull 21.4B v2

業界で最も優れた大規模言語モデル（LLM）をご紹介します。21.4Bのパラメータ規模で、saltlux/luxia-21.4b-alignment-v1.0をベースに構築されており、ほぼ70Bモデルと同等の性能を発揮します。

このモデルは、高いスコアを得るためだけに最適化されておらず、実用的な性能を備えています。高い感情知能（EQ）と知性（IQ）を兼ね備え、会話能力にも優れた強力なモデルです。

量子化バージョンはbartowski/UNA-ThePitbull-21.4B-v2-GGUFで入手可能です。

✨ 主な機能

V1とV2の違い

V2では、異なるUNA戦略を実装し、MLPとAttentionレイヤーの一部をカバーしています。また、V1に対してさらなるSFT（Supervised Fine-Tuning）とDPO（Direct Preference Optimization）を行い、それらの一部も近日公開予定です。

変更点

1. Replete-AI/code_bagel_hermes-2.5を使用して、V1に対して1.0e-4から5.0e-5までの学習率で1エポックのSFTを行いました。
2. 以下のデータセットを使用して、1.0e-4から最小学習率5.0e-5までの学習率で1エポックのDPOを行いました。
   • mlabonne/orpo-dpo-mix-40k
   • jondurbin/py-dpo-v0.1

📚 ドキュメント

評価

Open LLM Leaderboardの評価結果

詳細な結果はこちらで確認できます。

評価は、非UNAベースモデルである元のluxia-21.4bとThePitbull-v1とのみ比較可能です。

UNA v2 (VLLM)の評価

vllm (pretrained=/data/tools/mergekit/una-thepitbull-v5,dtype=bfloat16,gpu_memory_utilization=0.8,max_model_len=2048,data_parallel_size=2,tensor_parallel_size=4), gen_kwargs: (None), limit: None, num_fewshot: None, batch_size: 8
| タスク | バージョン | フィルター | n-shot | メトリクス | 値 |  | 標準誤差 |
| ---- | ----: | ---- | ----: | ---- | ----: | ---- | ----: |
| gsm8k | 3 | strict-match | 5 | exact_match | 0.7695 | ± | 0.0116 | + |
|  |  | flexible-extract | 5 | exact_match | 0.7695 | ± | 0.0116 | + |
| hellaswag | 1 | none | 10 | acc | 0.8110 | ± | 0.0039 |  |
|  |  | none | 10 | acc_norm | 0.9169 | ± | 0.0028 | + |
| winogrande | 1 | none | 5 | acc | 0.8777 | ± | 0.0092 | + |
| mmlu | N/A | none | 0 | acc | 0.6427 | ± | 0.0038 | - |
| arc_challenge | 1 | none | 25 | acc | 0.7713 | ± | 0.0123 |  |
|  |  | none | 25 | acc_norm | 0.7875 | ± | 0.0120 | + |
| truthfulqa_mc2 | 2 | none | 0 | acc | 0.7824 | ± | 0.0135 | - |
| mathqa | 1 | none | 0 | acc | 0.4037 | ± | 0.009 |  |
|  |  | none | 0 | acc_norm | 0.4034 | ± | 0.009 | + |
| pubmedqa | 1 | none | 0 | acc | 0.7260 | ± | 0.020 | + |
| boolq | 2 | none | 0 | acc | 0.8602 | ± | 0.0061 | + |

UNA v1 (VLLM)の評価

| タスク | バージョン | フィルター | n-shot | メトリクス | 値 |  | 標準誤差 |
| ---- | ----: | ---- | ----: | ---- | ----: | ---- | ----: |
| gsm8k | 3 | strict-match | 5 | exact_match | 0.7566 | ± | 0.0118 |  |
|  |  | flexible-extract | 5 | exact_match | 0.7582 | ± | 0.0118 |  |
| hellaswag | 1 | none | 10 | acc | 0.8168 | ± | 0.0039 |  |
|  |  | none | 10 | acc_norm | 0.9188 | ± | 0.0027 |  |
| winogrande | 1 | none | 5 | acc | 0.8635 | ± | 0.0097 |  |
| mmlu | N/A | none | 0 | acc | 0.6444 | ± | 0.0038 |  |
| arc_challenge | 1 | none | 25 | acc | 0.7747 | ± | 0.0122 |  |
|  |  | none | 25 | acc_norm | 0.7850 | ± | 0.0120 |  |
| truthfulqa_mc2 | 2 | none | 0 | acc | 0.7902 | ± | 0.0134 |  |
| mathqa | 1 | none | 0 | acc | 0.4030 | ± | 0.009 |  |
|  |  | none | 0 | acc_norm | 0.4034 | ± | 0.009 |  |
| pubmedqa | 1 | none | 0 | acc | 0.6860 | ± | 0.0208 |  |
| boolq | 2 | none | 0 | acc | 0.8401 | ± | 0.0064 |  |

オリジナル (VLLM)の評価

| タスク | バージョン | フィルター | n-shot | メトリクス | 値 |  | 標準誤差 |
| ---- | ----: | ---- | ----: | ---- | ----: | ---- | ----: |
| gsm8k | 3 | strict-match | 5 | exact_match | 0.7528 | ± | 0.0119 |  |
|  |  | flexible-extract | 5 | exact_match | 0.7521 | ± | 0.0119 |  |
| hellaswag | 1 | none | 10 | acc | 0.8117 | ± | 0.0039 |  |
|  |  | none | 10 | acc_norm | 0.9167 | ± | 0.0028 |  |
| winogrande | 1 | none | 5 | acc | 0.8682 | ± | 0.0095 |  |
| mmlu | N/A | none | 0 | acc | 0.6448 | ± | 0.0038 |  |
| arc_challenge | 1 | none | 25 | acc | 0.7688 | ± | 0.0123 |  |
|  |  | none | 25 | acc_norm | 0.7730 | ± | 0.0122 |  |
| truthfulqa_mc2 | 2 | none | 0 | acc | 0.7895 | ± | 0.0133 |  |
| mathqa | 1 | none | 0 | acc | 0.4000 | ± | 0.009 |  |
|  |  | none | 0 | acc_norm | 0.4003 | ± | 0.009 |  |
| pubmedqa | 1 | none | 0 | acc | 0.6680 | ± | 0.0211 |  |
| boolq | 2 | none | 0 | acc | 0.8346 | ± | 0.0065 |  |

引用

• mlabonne
• jondurbin & Replete-AI
• bartowski
• saltlux

UNAモデルを使用する場合は、以下を引用してください。

@misc{unathepitbull21b,
  title={ThePitbull: Uniform Neural Alignment}, 
  author={Xavier Murias},
  year={2024},
  publisher = {Juanako.AI},
  journal = {HuggingFace repository},
  howpublished = {\url{https://huggingface.co/fblgit/UNA-ThePitbull-21.4-v1}},
}

Open LLM Leaderboardの評価結果

詳細な結果はこちらで確認できます。

📄 ライセンス

このプロジェクトはAFL-3.0ライセンスの下で提供されています。