UNA TheBeagle 7b V1

🚀 UNA-TheBeagle-7b-v1

UNA-TheBeagle-7b-v1是一個基於70億參數的模型，在The Bagel數據集上進行訓練。它在一系列精心挑選的DPO對上應用了DPO（Direct Preference Optimization）和UNA技術，在多項任務中表現出色。

✨ 主要特性

• 在Hugging Face排行榜上排名第一，成績顯著！ARC得分為73分，且各項指標均衡。
• 數據集使用原始的Bagel代碼生成，包含去汙染步驟。
• 以英特爾最新的neural - chat模型為基礎模型。

📚 詳細文檔

評估結果

使用VLLM進行評估，實際結果可能與排行榜上的略有差異，但相差不大。

vllm (pretrained=fblgit/UNA-TheBeagle-7b-v1,dtype=auto,tensor_parallel_size=1,gpu_memory_utilization=0.8,data_parallel_size=8,trust_remote_code=True), gen_kwargs: (None), limit: None, num_fewshot: None, batch_size: 32
|    任務     |版本|  過濾條件  |n - 樣本數|  指標   |值 |   |標準差|
|--------------|-------|----------|-----:|-----------|-----:|---|-----:|
|arc_challenge |Yaml   |none      |    25|準確率        |0.7090|±  |0.0133|
|              |       |none      |    25|歸一化準確率   |0.7329|±  |0.0129|
|gsm8k         |Yaml   |獲取答案|     5|精確匹配率|0.7210|±  |0.0124|
|hellaswag     |Yaml   |none      |    10|準確率        |0.7202|±  |0.0045|
|              |       |none      |    10|歸一化準確率   |0.8792|±  |0.0033|
|truthfulqa_mc2|Yaml   |none      |     0|準確率        |0.7062|±  |0.0151|
|winogrande    |Yaml   |none      |     5|準確率        |0.8366|±  |0.0104|

UNA技術細節

在本次發佈中，僅通過感知器應用了UNA技術。訓練速度為3.5e - 7，訓練循環代碼採用Bagel和transformers - 4.35.2 - UNA的原始代碼。

提示信息

由於使用的是Bagel訓練代碼的原始版本，不太確定具體的提示格式。但一個優秀的模型應該能夠適應不同的提示格式，你可以自行嘗試。

引用說明

如果使用了UNA的模型，請在你的模型卡片中引用它。

限制條件

本模型不用於商業用途，僅用於學術和研究目的。

📄 許可證

本模型採用CC - BY - NC - ND - 4.0許可證。