Llama 3 Refueled

🚀 RefuelLLM-2-small（又名Llama-3-Refueled）

RefuelLLM-2-small是基于Llama3-8B基础模型，在2750多个数据集上进行指令微调的模型。它可处理分类、阅读理解、结构化属性提取和实体解析等任务。我们很高兴将该模型开源，供社区在此基础上进行开发。

🚀 快速开始

本仓库包含与HuggingFace兼容的Llama-3-Refueled模型权重。以下是使用Transformers库的代码示例：

>>> import torch
>>> from transformers import AutoModelForCausalLM, AutoTokenizer

>>> model_id = "refuelai/Llama-3-Refueled"
>>> tokenizer = AutoTokenizer.from_pretrained(model_id)
>>> model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, device_map="auto")

>>> messages = [{"role": "user", "content": "Is this comment toxic or non-toxic: RefuelLLM is the new way to label text data!"}]

>>> inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to("cuda")

>>> outputs = model.generate(inputs, max_new_tokens=20)
>>> print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 多任务处理：能够处理分类、阅读理解、结构化属性提取和实体解析等多种自然语言处理任务。
• 开源共享：模型开源，方便社区开发者在此基础上进行二次开发。

📚 详细文档

模型详情

• 模型开发者：Refuel AI
• 输入：仅支持文本输入。
• 输出：仅输出文本。
• 架构：基于Llama-3-8B-instruct构建，这是一个使用优化Transformer架构的自回归语言模型。
• 发布日期：2024年5月8日。
• 许可证：CC BY-NC 4.0

训练数据

该模型在超过40亿个token上进行训练，涵盖2750多个自然语言处理任务。训练数据集主要包括：

1. 人工标注数据集，如Flan、Task Source和Aya集合。
2. 合成数据集，如OpenOrca、OpenHermes和WizardLM。
3. Refuel AI开发或授权的专有数据集。

基准测试

在本节中，我们报告了Refuel模型在标注任务基准测试中的结果。有关方法的详细信息，请参阅此处。

局限性

Llama-3-Refueled模型没有任何审核机制。我们期待与社区合作，使该模型能够更好地遵循规则，以便在需要审核输出的环境中部署。

📄 许可证

本模型采用CC BY-NC 4.0许可证。