Open Llama 3b V2 Chat

🚀 open-llama-3b-v2-chat

open-llama-3b-v2-chat是基於LLaMA 3B v2的模型，可用於文本生成任務。它在多個數據集上進行了評估，展現出一定的性能，但也存在一些侷限性，使用時需要謹慎評估輸出結果。

🚀 快速開始

前提條件

除了安裝pytorch和transformers，還需要安裝所需的包：

pip install sentencepiece

使用方法

使用時，複製以下腳本：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = 'mediocredev/open-llama-3b-v2-chat'
tokenizer_id = 'mediocredev/open-llama-3b-v2-chat'
tokenizer = AutoTokenizer.from_pretrained(tokenizer_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

chat_history = [
    {"role": "user", "content": "Hello!"},
    {"role": "assistant", "content": "I am here."},
    {"role": "user", "content": "How many days are there in a leap year?"},
]

input_ids = tokenizer.apply_chat_template(
    chat_history, tokenize=True, add_generation_prompt=True, return_tensors="pt"
).to(model.device)
output_tokens = model.generate(
    input_ids,
    repetition_penalty=1.05,
    max_new_tokens=1000,
)
output_text = tokenizer.decode(
    output_tokens[0][len(input_ids[0]) :], skip_special_tokens=True
)

print(output_text)
# Assistant: There are 366 days in a leap year, which is one more day than the standard year.

✨ 主要特性

該模型在多個文本生成任務的數據集上進行了評估，具體如下：

詳細結果可查看此處。

🔧 技術細節

侷限性

mediocredev/open-llama-3b-v2-chat基於LLaMA 3B v2，在事實準確性方面可能存在困難，特別是在面對相互矛盾的信息或細微差別較大的主題時。其輸出不是確定性的，需要進行批判性評估，以避免僅僅依賴其斷言。此外，雖然其生成能力有一定前景，但有時可能會產生事實錯誤或冒犯性的內容，因此需要仔細篩選和人工監督。作為一個不斷發展的模型，LLaMA仍在開發中，其在偏差緩解和可解釋性等方面的侷限性正在積極解決中。通過負責任地使用該模型並瞭解其缺點，我們可以發揮其潛力，同時降低風險。

📄 許可證

本項目採用Apache-2.0許可證。

💬 聯繫我們

歡迎提供任何反饋、問題和討論。如有需要，請隨時聯繫：mediocredev@outlook.com