Rollama3 8b Instruct 2024 06 28

🚀 RoLlama3-8b-Instruct-2024-06-28模型

RoLlama3是专为罗马尼亚语设计的预训练和微调生成式文本模型家族。本仓库是指令8B模型的相关内容，其他模型的链接可在页面底部找到。

🚀 快速开始

使用以下代码即可开始使用该模型：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("OpenLLM-Ro/RoLlama3-8b-Instruct-2024-06-28")
model = AutoModelForCausalLM.from_pretrained("OpenLLM-Ro/RoLlama3-8b-Instruct-2024-06-28")

instruction = "Ce jocuri de societate pot juca cu prietenii mei?"
chat = [
        {"role": "system", "content": "Ești un asistent folositor, respectuos și onest. Încearcă să ajuți cât mai mult prin informațiile oferite, excluzând răspunsuri toxice, rasiste, sexiste, periculoase și ilegale."},
        {"role": "user", "content": instruction},
        ]
prompt = tokenizer.apply_chat_template(chat, tokenize=False, system_message="")

inputs = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
outputs = model.generate(input_ids=inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

模型详情

模型描述

OpenLLM-Ro是构建专门针对罗马尼亚语的大语言模型（LLM）的首个开源项目。OpenLLM-Ro开发并公开发布了一系列罗马尼亚语大语言模型，包括基础模型、指令模型和聊天模型等多种类型。

• 开发者：OpenLLM-Ro
• 语言：罗马尼亚语
• 许可证：cc-by-nc-4.0
• 微调基础模型：Meta-Llama-3-8B
• 训练数据集：RoAlpaca、RoAlpacaGPT4、RoDolly、RoSelfInstruct、RoNoRobots、RoOrca、RoCamel

模型来源

• 仓库地址：https://github.com/OpenLLM-Ro/LLaMA-Factory
• 论文地址：https://arxiv.org/abs/2406.18266

预期用途

预期用例

RoLlama3主要用于罗马尼亚语的研究。基础模型可适用于各种自然语言任务，而经过指令和聊天微调的模型则适用于类似助手的聊天场景。

非预期用途

禁止以任何违反许可证、适用法律法规的方式使用该模型，也不得用于除罗马尼亚语之外的其他语言。

📚 详细文档

学术基准

下游任务

LaRoSeDa和WMT任务

XQuAD和STS任务

MT - Bench

RoCulturaBench

RoLlama3模型家族

📄 许可证

本模型使用的许可证为cc-by-nc-4.0。

📚 引用

@misc{masala2024vorbecstiromanecsterecipetrain,
      title={"Vorbe\c{s}ti Rom\^ane\c{s}te?" A Recipe to Train Powerful Romanian LLMs with English Instructions}, 
      author={Mihai Masala and Denis C. Ilie-Ablachim and Alexandru Dima and Dragos Corlatescu and Miruna Zavelca and Ovio Olaru and Simina Terian-Dan and Andrei Terian-Dan and Marius Leordeanu and Horia Velicu and Marius Popescu and Mihai Dascalu and Traian Rebedea},
      year={2024},
      eprint={2406.18266},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2406.18266}, 
}