N1

🚀 N1 - 一種の思考過程連鎖言語モデル

N1は、GoofyLMによって開発された小型の実験的な思考過程連鎖（COT）モデルで、LLaMAアーキテクチャに基づいて構築されています。このモデルは、問題を段階的に推論し、テキスト生成タスクをサポートすることに特化しています。

✨ 主な機能

• LLaMAアーキテクチャに基づく：LLaMAアーキテクチャの利点を引き継いでいます。
• パラメータ規模：1.35億のパラメータを持っています。
• 学習データ：閉ソースのデータセットを使用して学習されています。
• 特殊能力：思考過程連鎖推論能力を備えています。

📦 インストール

Transformersライブラリを使用してモデルを読み込む

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("GoofyLM/N1")
tokenizer = AutoTokenizer.from_pretrained("GoofyLM/N1")

llama-cpp-pythonを使用してモデルを読み込む

from llama_cpp import Llama

llm = Llama.from_pretrained(
    repo_id="GoofyLM/N1-quant",
    filename="N1_Q8_0.gguf",
)

Ollamaを使用してモデルを実行する

ollama run hf.co/GoofyLM/N1-quant:Q8_0

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("GoofyLM/N1")
tokenizer = AutoTokenizer.from_pretrained("GoofyLM/N1")

input_text = "请提供一个简单的推理示例"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids
output = model.generate(input_ids)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

📚 ドキュメント

モデル詳細

注意事項

⚠️ 重要な注意事項

• このモデルはしばしば「精神分裂」現象を示します。
• 以下のJinjaコードをモデルに追加する必要があるかもしれません。

{% for message in messages %}{% if loop.first and messages[0]['role'] != 'system' %}{{ '<|im_start|>system
You are a helpful AI assistant named N1, trained by GoofyLM<|im_end|>
' }}{% endif %}{{'<|im_start|>' + message['role'] + '
' + message['content'] + '<|im_end|>' + '
'}}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant
' }}{% endif %}

• ONNXバージョンは onnx-community/N1-ONNX で入手できます。

想定用途

このモデルは、テキスト生成タスクを対象に設計されており、思考過程連鎖による段階的な推論で問題を解決することに重点を置いています。

制限事項

⚠️ 重要な注意事項

• パラメータ規模が小さいため、推論能力が制限される可能性があります。
• 不安定または一貫性のない出力を生成することがあります。
• さらなるテストを行わない限り、本番環境での使用には適さない場合があります。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

Banner by Croissant