N1

🚀 N1 - 一種思維鏈語言模型

N1 是由 GoofyLM 開發的一個小型實驗性思維鏈（COT）模型，基於 LLaMA 架構構建。它專注於逐步推理問題，為文本生成任務提供支持。

✨ 主要特性

• 基於LLaMA架構：繼承了 LLaMA 架構的優勢。
• 參數規模：擁有 1.35 億參數。
• 訓練數據：使用閉源數據集進行訓練。
• 特殊能力：具備思維鏈推理能力。

📦 安裝指南

使用 Transformers 庫加載模型

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("GoofyLM/N1")
tokenizer = AutoTokenizer.from_pretrained("GoofyLM/N1")

使用 llama-cpp-python 加載模型

from llama_cpp import Llama

llm = Llama.from_pretrained(
    repo_id="GoofyLM/N1-quant",
    filename="N1_Q8_0.gguf",
)

使用 Ollama 運行模型

ollama run hf.co/GoofyLM/N1-quant:Q8_0

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("GoofyLM/N1")
tokenizer = AutoTokenizer.from_pretrained("GoofyLM/N1")

input_text = "請提供一個簡單的推理示例"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids
output = model.generate(input_ids)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

📚 詳細文檔

模型詳情

注意事項

⚠️ 重要提示

• 該模型常表現出“精神分裂”現象。
• 你可能需要向模型添加以下 Jinja 代碼：

{% for message in messages %}{% if loop.first and messages[0]['role'] != 'system' %}{{ '<|im_start|>system
You are a helpful AI assistant named N1, trained by GoofyLM<|im_end|>
' }}{% endif %}{{'<|im_start|>' + message['role'] + '
' + message['content'] + '<|im_end|>' + '
'}}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant
' }}{% endif %}

• ONNX 版本可在 onnx-community/N1-ONNX 獲取。

預期用途

此模型專為文本生成任務設計，重點在於通過思維鏈逐步推理解決問題。

侷限性

⚠️ 重要提示

• 較小的參數規模可能會限制推理能力。
• 可能產生不穩定或不一致的輸出。
• 在未經過進一步測試的情況下，不適合用於生產環境。

📄 許可證

本模型採用 MIT 許可證。

Banner by Croissant