N1

🚀 N1 - 一种思维链语言模型

N1 是由 GoofyLM 开发的一个小型实验性思维链（COT）模型，基于 LLaMA 架构构建。它专注于逐步推理问题，为文本生成任务提供支持。

✨ 主要特性

• 基于LLaMA架构：继承了 LLaMA 架构的优势。
• 参数规模：拥有 1.35 亿参数。
• 训练数据：使用闭源数据集进行训练。
• 特殊能力：具备思维链推理能力。

📦 安装指南

使用 Transformers 库加载模型

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("GoofyLM/N1")
tokenizer = AutoTokenizer.from_pretrained("GoofyLM/N1")

使用 llama-cpp-python 加载模型

from llama_cpp import Llama

llm = Llama.from_pretrained(
    repo_id="GoofyLM/N1-quant",
    filename="N1_Q8_0.gguf",
)

使用 Ollama 运行模型

ollama run hf.co/GoofyLM/N1-quant:Q8_0

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("GoofyLM/N1")
tokenizer = AutoTokenizer.from_pretrained("GoofyLM/N1")

input_text = "请提供一个简单的推理示例"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids
output = model.generate(input_ids)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

📚 详细文档

模型详情

注意事项

⚠️ 重要提示

• 该模型常表现出“精神分裂”现象。
• 你可能需要向模型添加以下 Jinja 代码：

{% for message in messages %}{% if loop.first and messages[0]['role'] != 'system' %}{{ '<|im_start|>system
You are a helpful AI assistant named N1, trained by GoofyLM<|im_end|>
' }}{% endif %}{{'<|im_start|>' + message['role'] + '
' + message['content'] + '<|im_end|>' + '
'}}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant
' }}{% endif %}

• ONNX 版本可在 onnx-community/N1-ONNX 获取。

预期用途

此模型专为文本生成任务设计，重点在于通过思维链逐步推理解决问题。

局限性

⚠️ 重要提示

• 较小的参数规模可能会限制推理能力。
• 可能产生不稳定或不一致的输出。
• 在未经过进一步测试的情况下，不适合用于生产环境。

📄 许可证

本模型采用 MIT 许可证。

Banner by Croissant