🚀 RoLlama3-8b-Instruct-2024-06-28模型
RoLlama3是專為羅馬尼亞語設計的預訓練和微調生成式文本模型家族。本倉庫是指令8B模型的相關內容,其他模型的鏈接可在頁面底部找到。
🚀 快速開始
使用以下代碼即可開始使用該模型:
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("OpenLLM-Ro/RoLlama3-8b-Instruct-2024-06-28")
model = AutoModelForCausalLM.from_pretrained("OpenLLM-Ro/RoLlama3-8b-Instruct-2024-06-28")
instruction = "Ce jocuri de societate pot juca cu prietenii mei?"
chat = [
{"role": "system", "content": "Ești un asistent folositor, respectuos și onest. Încearcă să ajuți cât mai mult prin informațiile oferite, excluzând răspunsuri toxice, rasiste, sexiste, periculoase și ilegale."},
{"role": "user", "content": instruction},
]
prompt = tokenizer.apply_chat_template(chat, tokenize=False, system_message="")
inputs = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
outputs = model.generate(input_ids=inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0]))
✨ 主要特性
模型詳情
模型描述
OpenLLM-Ro是構建專門針對羅馬尼亞語的大語言模型(LLM)的首個開源項目。OpenLLM-Ro開發並公開發布了一系列羅馬尼亞語大語言模型,包括基礎模型、指令模型和聊天模型等多種類型。
模型來源
- 倉庫地址:https://github.com/OpenLLM-Ro/LLaMA-Factory
- 論文地址:https://arxiv.org/abs/2406.18266
預期用途
預期用例
RoLlama3主要用於羅馬尼亞語的研究。基礎模型可適用於各種自然語言任務,而經過指令和聊天微調的模型則適用於類似助手的聊天場景。
非預期用途
禁止以任何違反許可證、適用法律法規的方式使用該模型,也不得用於除羅馬尼亞語之外的其他語言。
📚 詳細文檔
學術基準
模型 |
平均得分 |
ARC得分 |
MMLU得分 |
Winogrande得分 |
Hellaswag得分 |
GSM8k得分 |
TruthfulQA得分 |
Llama-3-8B-Instruct |
50.62 |
43.69 |
52.04 |
59.33 |
53.19 |
43.87 |
51.59 |
RoLlama3-8b-Instruct-2024-06-28 |
50.56 |
44.70 |
52.19 |
67.23 |
57.69 |
30.23 |
51.34 |
RoLlama3-8b-Instruct-2024-10-09 |
52.21 |
47.94 |
53.50 |
66.06 |
59.72 |
40.16 |
45.90 |
RoLlama3-8b-Instruct-DPO-2024-10-09 |
49.96 |
46.29 |
53.29 |
65.57 |
58.15 |
34.77 |
41.70 |
下游任務
LaRoSeDa和WMT任務
模型 |
LaRoSeDa少樣本二元Macro F1 |
LaRoSeDa少樣本多分類Macro F1 |
LaRoSeDa微調二元Macro F1 |
LaRoSeDa微調多分類Macro F1 |
WMT少樣本EN - RO Bleu |
WMT少樣本RO - EN Bleu |
WMT微調EN - RO Bleu |
WMT微調RO - EN Bleu |
Llama-3-8B-Instruct |
95.88 |
56.21 |
98.53 |
86.19 |
18.88 |
30.98 |
28.02 |
40.28 |
RoLlama3-8b-Instruct-2024-06-28 |
97.52 |
67.41 |
94.15 |
87.13 |
24.01 |
27.36 |
26.53 |
40.36 |
RoLlama3-8b-Instruct-2024-10-09 |
95.58 |
61.20 |
96.46 |
87.26 |
22.92 |
24.28 |
27.31 |
40.52 |
RoLlama3-8b-Instruct-DPO-2024-10-09 |
97.48 |
54.00 |
- |
- |
22.09 |
23.00 |
- |
- |
XQuAD和STS任務
模型 |
XQuAD少樣本EM |
XQuAD少樣本F1 |
XQuAD微調EM |
XQuAD微調F1 |
STS少樣本Spearman |
STS少樣本Pearson |
STS微調Spearman |
STS微調Pearson |
Llama-3-8B-Instruct |
39.47 |
58.67 |
67.65 |
82.77 |
73.04 |
72.36 |
83.49 |
84.06 |
RoLlama3-8b-Instruct-2024-06-28 |
39.43 |
59.50 |
44.45 |
59.76 |
77.20 |
77.87 |
85.80 |
86.05 |
RoLlama3-8b-Instruct-2024-10-09 |
18.89 |
31.79 |
50.84 |
65.18 |
77.60 |
76.86 |
86.70 |
87.09 |
RoLlama3-8b-Instruct-DPO-2024-10-09 |
26.05 |
42.77 |
- |
- |
79.64 |
79.52 |
- |
- |
MT - Bench
模型 |
平均得分 |
第一輪得分 |
第二輪得分 |
羅馬尼亞語回答數量 |
Llama-3-8B-Instruct |
5.96 |
6.16 |
5.76 |
158/160 |
RoLlama3-8b-Instruct-2024-06-28 |
5.15 |
6.03 |
4.28 |
160/160 |
RoLlama3-8b-Instruct-2024-10-09 |
5.38 |
6.09 |
4.67 |
160/160 |
RoLlama3-8b-Instruct-DPO-2024-10-09 |
5.87 |
6.22 |
5.49 |
160/160 |
RoCulturaBench
模型 |
平均得分 |
羅馬尼亞語回答數量 |
Llama-3-8B-Instruct |
4.62 |
100/100 |
RoLlama3-8b-Instruct-2024-06-28 |
3.71 |
100/100 |
RoLlama3-8b-Instruct-2024-10-09 |
3.81 |
100/100 |
RoLlama3-8b-Instruct-DPO-2024-10-09 |
4.40 |
100/100 |
RoLlama3模型家族
模型 |
鏈接 |
RoLlama3-8b-Instruct-2024-06-28 |
link |
RoLlama3-8b-Instruct-2024-10-09 |
link |
RoLlama3-8b-Instruct-DPO-2024-10-09 |
link |
📄 許可證
本模型使用的許可證為cc-by-nc-4.0。
📚 引用
@misc{masala2024vorbecstiromanecsterecipetrain,
title={"Vorbe\c{s}ti Rom\^ane\c{s}te?" A Recipe to Train Powerful Romanian LLMs with English Instructions},
author={Mihai Masala and Denis C. Ilie-Ablachim and Alexandru Dima and Dragos Corlatescu and Miruna Zavelca and Ovio Olaru and Simina Terian-Dan and Andrei Terian-Dan and Marius Leordeanu and Horia Velicu and Marius Popescu and Mihai Dascalu and Traian Rebedea},
year={2024},
eprint={2406.18266},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2406.18266},
}