Dorna Llama3 8B Instruct

🚀 Dorna-Llama3-8B-Instruct模型

Dorna-Llama3-8B-Instruct是由Part AI开发的解码器模型，基于波斯语数据进行训练和微调。此初始版本为8B指令模型，构建于Meta Llama 3 Instruct模型之上。

🚀 快速开始

💻 使用示例

基础用法

import torch
import transformers
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system",
     "content": "You are a helpful Persian assistant. Please answer questions in the asked language."},
    {"role": "user", "content": "کاغذ A4 بزرگ تر است یا A5؟"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

你也可以使用下面的笔记本在Google Colab中测试该模型。

📚 详细文档

模型详情

Dorna系列模型是仅解码器模型家族，专门针对波斯语数据进行训练和微调，由Part AI开发。作为初始版本，现推出该家族的8B指令模型。 Dorna-Llama3-8B-Instruct基于Meta Llama 3 Instruct模型构建。

评估

该模型在各种任务的问题上进行了评估，包括布尔问题、代码生成、长文本回复、数学问题、新闻问答、释义、常识问答和文本摘要。大多数类别通常有两个主要难度级别：困难和简单。

评估包括人工评估和自动评估（以GPT - 4作为评判）。

在两个表格中，Dorna-8B-it 是 Dorna-Llama3-8B-Instruct 的缩写形式。

整体人工评估结果

分类人工评估结果

每个类别报告了胜/败/平的百分比。

自动评估结果

📄 许可证

本模型使用的许可证为llama3。

🔗 联系我们

如果你对该模型有任何疑问，可以通过Hugging Face上的社区联系我们。