Open Llama 3b V2 Instruct

🚀 open-llama-3b-v2-instruct

open-llama-3b-v2-instruct是基于LLaMA 3B v2的模型，可用于文本生成任务。它在多个数据集上进行了评估，并在Open LLM Leaderboard上展示了评估结果。不过，该模型在事实准确性等方面存在一定局限性，使用时需谨慎评估。

🚀 快速开始

前提条件

除了安装pytorch和transformers库，还需要安装以下必要的包：

pip install accelerate sentencepiece

使用方法

使用时，可复制以下脚本：

from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torch
model_id = 'mediocredev/open-llama-3b-v2-instruct'
tokenizer_id = 'mediocredev/open-llama-3b-v2-instruct'
tokenizer = AutoTokenizer.from_pretrained(tokenizer_id)

pipeline = transformers.pipeline(
  'text-generation',
  model=model_id,
  tokenizer=tokenizer,
  torch_dtype=torch.bfloat16,
  device_map='auto',
)

system_message = 'You are a helpful assistant, who always provide explanation.'
user_message = 'How many days are there in a leap year?'

prompt = f'### System:\n{system_message}<|endoftext|>\n### User:\n{user_message}<|endoftext|>\n### Assistant:\n'
response = pipeline(
   prompt,
   max_length=1000,
   repetition_penalty=1.05,
)
response = response[0]['generated_text']
print(response)

# Assistant: A leap year has 366 days. It's an extra day added to the calendar every four years to account for the extra time it takes for Earth to complete one full orbit around the Sun.

✨ 主要特性

• 可用于文本生成任务。
• 在多个数据集上进行了评估，评估结果可在Open LLM Leaderboard上查看。

📚 详细文档

评估结果

详细结果可查看此处。

局限性

mediocredev/open-llama-3b-v2-instruct基于LLaMA 3B v2，在事实准确性方面可能存在困难，特别是在处理相互冲突的信息或微妙的主题时。其输出不是确定性的，需要进行批判性评估，以避免仅仅依赖其断言。此外，其生成能力虽然有前景，但有时可能会产生事实错误或冒犯性的内容，因此需要仔细筛选和人工监督。作为一个不断发展的模型，LLaMA仍在开发中，其在减轻偏差和可解释性等方面的局限性正在得到积极解决。通过负责任地使用该模型并了解其缺点，我们可以发挥其潜力，同时降低风险。

联系我们

欢迎提供任何反馈、问题和讨论。如有需要，请随时联系：mediocredev@outlook.com

📄 许可证

本项目采用Apache-2.0许可证。