🚀 Cabra Llama-3 8B
Cabra Llama-3 8B是Meta-Llama-3-8B-Instruct的改進版本,使用Cabra 30k數據集進行了微調。該模型經過特別優化,能夠理解並使用葡萄牙語進行回覆。
🚀 快速開始
你可以在我們的聊天界面體驗這個模型。還可以瞭解我們的其他模型和數據集,以及Cabra Llama 3 70b。
✨ 主要特性
- 語言優化:特別針對葡萄牙語進行了優化,在理解和回覆葡萄牙語方面表現出色。
- 基於強大基礎模型:基於Meta-Llama-3-8B-Instruct改進而來,繼承了其優秀的文本生成能力。
📚 詳細文檔
基礎模型詳情
- 模型:Meta-Llama-3-8B-Instruct
Meta開發併發布了Llama 3系列模型,這是一組預訓練和指令微調的文本生成模型,有8B和70B兩種規模。經過指令微調的Llama 3模型針對對話用例進行了優化,在行業常見的基準測試中超越了許多可用的開源聊天模型。此外,在開發這些模型時,我們非常注重優化其實用性和安全性。
模型架構:Llama 3是一個自迴歸語言模型,採用了優化的Transformer架構。微調版本使用了監督微調(SFT)和基於人類反饋的強化學習(RLHF)來符合人類在實用性和安全性方面的偏好。
- 數據集:Cabra 30k
這是一個用於微調的內部數據集,我們將很快發佈。
- 量化 / GGUF
我們在“quantanization”分支上提供了多種量化版本(GGUF)。
使用示例
<s> [INST] 請告訴我一些關於巴西利亞的有趣事實。 [/INST]
巴西利亞是巴西的首都,由巴西建築師奧斯卡·尼邁耶(Oscar Niemeyer)和城市規劃師盧西奧·科斯塔(Lúcio Costa)設計。以下是一些關於巴西利亞的有趣事實:
1. 巴西利亞建於20世紀60年代。這座城市的建設是為了取代當時過於擁擠的巴西舊首都里約熱內盧。
2. 巴西利亞的建築風格獨特,以現代主義和抽象形式為特點。城市主要分為兩個區域:中央的規劃區和住宅區域。
3. 巴西利亞以其標誌性建築而聞名,如大都會大教堂(Catedral Metropolitana Nossa Senhora da Aparecida)、阿爾沃拉達宮(Palácio da Alvorada)和總統府(Palácio do Planalto),這些都是巴西總統的辦公地點。
4. 這座城市擁有國家體育場(Estádio Nacional Mane Garrincha),可容納72,788名觀眾,該體育場以著名足球運動員加林查(Garrincha)命名,他出生於巴西利亞。
5. 巴西利亞是一座相對較新的城市,人口約300萬。儘管建城時間不長,但它以充滿活力的文化而聞名,是巴西的旅遊、商業和政治中心。
</s>
🔧 技術細節
模型目前僅用於研究目的,可能的研究領域和任務包括:
- 生成式模型的研究。
- 探究和理解生成式模型的侷限性和偏差。
📄 許可證
本模型採用CC BY-NC 2.0許可證,禁止用於商業用途,僅可用於研究。如需更多信息,請聯繫我們。
評估結果
評估表格
任務 |
指標 |
LLAMA3基礎指令值 |
標準誤差 |
Cabra微調值 |
標準誤差 |
assin2_rte |
f1_macro |
0.9091 |
0.0041 |
0.9036 |
0.0042 |
|
acc |
0.9093 |
0.0041 |
0.9036 |
0.0042 |
assin2_sts |
pearson |
0.7517 |
0.0074 |
0.6989 |
0.0082 |
|
mse |
0.5985 |
N/A |
0.6958 |
N/A |
bluex |
acc |
0.5786 |
0.0106 |
0.5786 |
0.0106 |
|
... |
... |
... |
... |
... |
enem |
acc |
0.7012 |
0.0070 |
0.7439 |
0.0067 |
faquad_nli |
f1_macro |
0.7516 |
0.0132 |
0.6988 |
0.0139 |
|
acc |
0.7938 |
0.0112 |
0.7508 |
0.0120 |
hatebr_offensive_binary |
f1_macro |
0.8699 |
0.0064 |
0.8528 |
0.0067 |
|
acc |
0.8700 |
0.0064 |
0.8536 |
0.0067 |
oab_exams |
acc |
0.5062 |
0.0062 |
0.4911 |
0.0062 |
portuguese_hate_speech_binary |
f1_macro |
0.5982 |
0.0120 |
0.5954 |
0.0120 |
|
acc |
0.5993 |
0.0119 |
0.5993 |
0.0119 |
開放葡萄牙語大語言模型排行榜評估結果
詳細結果可在此處和🚀 開放葡萄牙語大語言模型排行榜查看。
指標 |
值 |
平均值 |
69.42 |
巴西國家高考挑戰(無圖像) |
74.67 |
BLUEX(無圖像) |
56.88 |
巴西律師考試 |
49.29 |
Assin2 RTE |
90.44 |
Assin2 STS |
69.85 |
FaQuAD NLI |
70.38 |
HateBR 二分類 |
85.05 |
葡萄牙語仇恨言論二分類 |
60.10 |
tweetSentBR |
68.08 |