Llama 160M Chat V1

🚀 1600萬參數的Llama聊天模型

這是一個基於Llama架構的聊天模型，擁有1600萬參數。它基於特定的基礎模型，使用多個數據集進行訓練，可用於文本生成任務。同時，該模型還提供了多種機器學習格式的版本，方便不同場景下的使用。

🚀 快速開始

推薦的提示格式

<|im_start|>system
{系統消息}<|im_end|>
<|im_start|>user
{用戶消息}<|im_end|>
<|im_start|>assistant

推薦的推理參數

penalty_alpha: 0.5
top_k: 4
repetition_penalty: 1.01

✨ 主要特性

• 基礎模型：基於 JackFram/llama-160m 基礎模型構建。
• 訓練數據集：使用了多個高質量數據集進行訓練，包括 ehartford/wizard_vicuna_70k_unfiltered、totally-not-an-llm/EverythingLM-data-V3、Open-Orca/SlimOrca-Dedup、databricks/databricks-dolly-15k 和 THUDM/webglm-qa。
• 多格式支持：提供多種機器學習格式的版本，如 GGUF Felladrin/gguf-Llama-160M-Chat-v1、ONNX Felladrin/onnx-Llama-160M-Chat-v1、MLC Felladrin/mlc-q4f16-Llama-160M-Chat-v1 和 MLX mlx-community/Llama-160M-Chat-v1-4bit-mlx。

💻 使用示例

基礎用法

from transformers import pipeline

generate = pipeline("text-generation", "Felladrin/Llama-160M-Chat-v1")

messages = [
    {
        "role": "system",
        "content": "You are a helpful assistant who answers user's questions with details and curiosity.",
    },
    {
        "role": "user",
        "content": "What are some potential applications for quantum computing?",
    },
]

prompt = generate.tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)

output = generate(
    prompt,
    max_new_tokens=1024,
    penalty_alpha=0.5,
    top_k=4,
    repetition_penalty=1.01,
)

print(output[0]["generated_text"])

📚 詳細文檔

舊版Open LLM排行榜評估結果

新版Open LLM排行榜評估結果

詳細結果可查看 此處

📄 許可證

本項目採用 Apache-2.0 許可證。