UNA TheBeagle 7b V1

🚀 UNA-TheBeagle-7b-v1

TheBeagleは、The Bagelデータセットで学習された70億パラメータのモデルです。選りすぐりのDPOペアに対してDPOとUNAを適用しています。

• Hugging Faceのリーダーボードで1位を獲得し、劇的なスコアを記録！ARCスコア73で、非常にバランスが良いです！

データセットは、元のbagelコードを使用して生成され、汚染除去ステップも含まれています。 ベースモデルには、最新のIntelのneural-chatモデルを使用しています。 多くのタスクで非常に良い性能を発揮しますが、ぜひ自分で試してみることをおすすめします。

📚 ドキュメント

評価

VLLMで実行しているため、ボードに表示されているものと正確に一致しない可能性がありますが、大きな差はありません。

vllm (pretrained=fblgit/UNA-TheBeagle-7b-v1,dtype=auto,tensor_parallel_size=1,gpu_memory_utilization=0.8,data_parallel_size=8,trust_remote_code=True), gen_kwargs: (None), limit: None, num_fewshot: None, batch_size: 32
|    タスク     |バージョン|  フィルター  |n-shot|  メトリック   |値 |   |標準誤差|
|--------------|-------|----------|-----:|-----------|-----:|---|-----:|
|arc_challenge |Yaml   |none      |    25|acc        |0.7090|±  |0.0133|
|              |       |none      |    25|acc_norm   |0.7329|±  |0.0129|
|gsm8k         |Yaml   |get-answer|     5|exact_match|0.7210|±  |0.0124|
|hellaswag     |Yaml   |none      |    10|acc        |0.7202|±  |0.0045|
|              |       |none      |    10|acc_norm   |0.8792|±  |0.0033|
|truthfulqa_mc2|Yaml   |none      |     0|acc        |0.7062|±  |0.0151|
|winogrande    |Yaml   |none      |     5|acc        |0.8366|±  |0.0104|

UNAの詳細

このリリースでは、パーセプトロンを通じてのみUNAを適用しました。学習速度は3.5e-7で、学習ループのコードは元のbagelとtransformers-4.35.2-UNAのものを使用しています。

プロンプト

bagelの学習コードのバニラバージョンを使用しているため、正確なプロンプトはわかりません。しかし、良いモデルはさまざまなプロンプト形式で汎化できるはずなので、ぜひ試してみてください。

引用

UNAのモデルを使用する場合は、モデルカードに引用を記載してください。

制限事項

商用利用はできず、学術および研究目的のみで使用できます。

📄 ライセンス

このモデルはCC BY-NC-ND 4.0ライセンスの下で提供されています。