Llama 160M Chat V1

🚀 1600万参数的Llama聊天模型

这是一个基于Llama架构的聊天模型，拥有1600万参数。它基于特定的基础模型，使用多个数据集进行训练，可用于文本生成任务。同时，该模型还提供了多种机器学习格式的版本，方便不同场景下的使用。

🚀 快速开始

推荐的提示格式

<|im_start|>system
{系统消息}<|im_end|>
<|im_start|>user
{用户消息}<|im_end|>
<|im_start|>assistant

推荐的推理参数

penalty_alpha: 0.5
top_k: 4
repetition_penalty: 1.01

✨ 主要特性

• 基础模型：基于 JackFram/llama-160m 基础模型构建。
• 训练数据集：使用了多个高质量数据集进行训练，包括 ehartford/wizard_vicuna_70k_unfiltered、totally-not-an-llm/EverythingLM-data-V3、Open-Orca/SlimOrca-Dedup、databricks/databricks-dolly-15k 和 THUDM/webglm-qa。
• 多格式支持：提供多种机器学习格式的版本，如 GGUF Felladrin/gguf-Llama-160M-Chat-v1、ONNX Felladrin/onnx-Llama-160M-Chat-v1、MLC Felladrin/mlc-q4f16-Llama-160M-Chat-v1 和 MLX mlx-community/Llama-160M-Chat-v1-4bit-mlx。

💻 使用示例

基础用法

from transformers import pipeline

generate = pipeline("text-generation", "Felladrin/Llama-160M-Chat-v1")

messages = [
    {
        "role": "system",
        "content": "You are a helpful assistant who answers user's questions with details and curiosity.",
    },
    {
        "role": "user",
        "content": "What are some potential applications for quantum computing?",
    },
]

prompt = generate.tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)

output = generate(
    prompt,
    max_new_tokens=1024,
    penalty_alpha=0.5,
    top_k=4,
    repetition_penalty=1.01,
)

print(output[0]["generated_text"])

📚 详细文档

旧版Open LLM排行榜评估结果

新版Open LLM排行榜评估结果

详细结果可查看 此处

📄 许可证

本项目采用 Apache-2.0 许可证。