Open Llama 3b V2 Instruct

🚀 open-llama-3b-v2-instruct

open-llama-3b-v2-instruct是基於LLaMA 3B v2的模型，可用於文本生成任務。它在多個數據集上進行了評估，並在Open LLM Leaderboard上展示了評估結果。不過，該模型在事實準確性等方面存在一定侷限性，使用時需謹慎評估。

🚀 快速開始

前提條件

除了安裝pytorch和transformers庫，還需要安裝以下必要的包：

pip install accelerate sentencepiece

使用方法

使用時，可複製以下腳本：

from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torch
model_id = 'mediocredev/open-llama-3b-v2-instruct'
tokenizer_id = 'mediocredev/open-llama-3b-v2-instruct'
tokenizer = AutoTokenizer.from_pretrained(tokenizer_id)

pipeline = transformers.pipeline(
  'text-generation',
  model=model_id,
  tokenizer=tokenizer,
  torch_dtype=torch.bfloat16,
  device_map='auto',
)

system_message = 'You are a helpful assistant, who always provide explanation.'
user_message = 'How many days are there in a leap year?'

prompt = f'### System:\n{system_message}<|endoftext|>\n### User:\n{user_message}<|endoftext|>\n### Assistant:\n'
response = pipeline(
   prompt,
   max_length=1000,
   repetition_penalty=1.05,
)
response = response[0]['generated_text']
print(response)

# Assistant: A leap year has 366 days. It's an extra day added to the calendar every four years to account for the extra time it takes for Earth to complete one full orbit around the Sun.

✨ 主要特性

• 可用於文本生成任務。
• 在多個數據集上進行了評估，評估結果可在Open LLM Leaderboard上查看。

📚 詳細文檔

評估結果

詳細結果可查看此處。

侷限性

mediocredev/open-llama-3b-v2-instruct基於LLaMA 3B v2，在事實準確性方面可能存在困難，特別是在處理相互衝突的信息或微妙的主題時。其輸出不是確定性的，需要進行批判性評估，以避免僅僅依賴其斷言。此外，其生成能力雖然有前景，但有時可能會產生事實錯誤或冒犯性的內容，因此需要仔細篩選和人工監督。作為一個不斷發展的模型，LLaMA仍在開發中，其在減輕偏差和可解釋性等方面的侷限性正在得到積極解決。通過負責任地使用該模型並瞭解其缺點，我們可以發揮其潛力，同時降低風險。

聯繫我們

歡迎提供任何反饋、問題和討論。如有需要，請隨時聯繫：mediocredev@outlook.com

📄 許可證

本項目採用Apache-2.0許可證。