Llama 3 Refueled

🚀 RefuelLLM-2-small（又名Llama-3-Refueled）

RefuelLLM-2-small是基於Llama3-8B基礎模型，在2750多個數據集上進行指令微調的模型。它可處理分類、閱讀理解、結構化屬性提取和實體解析等任務。我們很高興將該模型開源，供社區在此基礎上進行開發。

🚀 快速開始

本倉庫包含與HuggingFace兼容的Llama-3-Refueled模型權重。以下是使用Transformers庫的代碼示例：

>>> import torch
>>> from transformers import AutoModelForCausalLM, AutoTokenizer

>>> model_id = "refuelai/Llama-3-Refueled"
>>> tokenizer = AutoTokenizer.from_pretrained(model_id)
>>> model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, device_map="auto")

>>> messages = [{"role": "user", "content": "Is this comment toxic or non-toxic: RefuelLLM is the new way to label text data!"}]

>>> inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to("cuda")

>>> outputs = model.generate(inputs, max_new_tokens=20)
>>> print(tokenizer.decode(outputs[0]))

✨ 主要特性

• 多任務處理：能夠處理分類、閱讀理解、結構化屬性提取和實體解析等多種自然語言處理任務。
• 開源共享：模型開源，方便社區開發者在此基礎上進行二次開發。

📚 詳細文檔

模型詳情

• 模型開發者：Refuel AI
• 輸入：僅支持文本輸入。
• 輸出：僅輸出文本。
• 架構：基於Llama-3-8B-instruct構建，這是一個使用優化Transformer架構的自迴歸語言模型。
• 發佈日期：2024年5月8日。
• 許可證：CC BY-NC 4.0

訓練數據

該模型在超過40億個token上進行訓練，涵蓋2750多個自然語言處理任務。訓練數據集主要包括：

1. 人工標註數據集，如Flan、Task Source和Aya集合。
2. 合成數據集，如OpenOrca、OpenHermes和WizardLM。
3. Refuel AI開發或授權的專有數據集。

基準測試

在本節中，我們報告了Refuel模型在標註任務基準測試中的結果。有關方法的詳細信息，請參閱此處。

侷限性

Llama-3-Refueled模型沒有任何審核機制。我們期待與社區合作，使該模型能夠更好地遵循規則，以便在需要審核輸出的環境中部署。

📄 許可證

本模型採用CC BY-NC 4.0許可證。