Rollama3 8b Instruct 2024 06 28

🚀 RoLlama3-8b-Instruct-2024-06-28模型

RoLlama3是專為羅馬尼亞語設計的預訓練和微調生成式文本模型家族。本倉庫是指令8B模型的相關內容，其他模型的鏈接可在頁面底部找到。

🚀 快速開始

使用以下代碼即可開始使用該模型：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("OpenLLM-Ro/RoLlama3-8b-Instruct-2024-06-28")
model = AutoModelForCausalLM.from_pretrained("OpenLLM-Ro/RoLlama3-8b-Instruct-2024-06-28")

instruction = "Ce jocuri de societate pot juca cu prietenii mei?"
chat = [
        {"role": "system", "content": "Ești un asistent folositor, respectuos și onest. Încearcă să ajuți cât mai mult prin informațiile oferite, excluzând răspunsuri toxice, rasiste, sexiste, periculoase și ilegale."},
        {"role": "user", "content": instruction},
        ]
prompt = tokenizer.apply_chat_template(chat, tokenize=False, system_message="")

inputs = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
outputs = model.generate(input_ids=inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0]))

✨ 主要特性

模型詳情

模型描述

OpenLLM-Ro是構建專門針對羅馬尼亞語的大語言模型（LLM）的首個開源項目。OpenLLM-Ro開發並公開發布了一系列羅馬尼亞語大語言模型，包括基礎模型、指令模型和聊天模型等多種類型。

• 開發者：OpenLLM-Ro
• 語言：羅馬尼亞語
• 許可證：cc-by-nc-4.0
• 微調基礎模型：Meta-Llama-3-8B
• 訓練數據集：RoAlpaca、RoAlpacaGPT4、RoDolly、RoSelfInstruct、RoNoRobots、RoOrca、RoCamel

模型來源

• 倉庫地址：https://github.com/OpenLLM-Ro/LLaMA-Factory
• 論文地址：https://arxiv.org/abs/2406.18266

預期用途

預期用例

RoLlama3主要用於羅馬尼亞語的研究。基礎模型可適用於各種自然語言任務，而經過指令和聊天微調的模型則適用於類似助手的聊天場景。

非預期用途

禁止以任何違反許可證、適用法律法規的方式使用該模型，也不得用於除羅馬尼亞語之外的其他語言。

📚 詳細文檔

學術基準

下游任務

LaRoSeDa和WMT任務

XQuAD和STS任務

MT - Bench

RoCulturaBench

RoLlama3模型家族

📄 許可證

本模型使用的許可證為cc-by-nc-4.0。

📚 引用

@misc{masala2024vorbecstiromanecsterecipetrain,
      title={"Vorbe\c{s}ti Rom\^ane\c{s}te?" A Recipe to Train Powerful Romanian LLMs with English Instructions}, 
      author={Mihai Masala and Denis C. Ilie-Ablachim and Alexandru Dima and Dragos Corlatescu and Miruna Zavelca and Ovio Olaru and Simina Terian-Dan and Andrei Terian-Dan and Marius Leordeanu and Horia Velicu and Marius Popescu and Mihai Dascalu and Traian Rebedea},
      year={2024},
      eprint={2406.18266},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2406.18266}, 
}