Goppa LogiLlama

🚀 LogiLlama

LogiLlama 是由 Goppa AI 开发的一款微调语言模型。它基于 LLaMA 的 10 亿参数基础模型构建，通过注入知识和逻辑推理能力得到了增强。我们的目标是让小模型更智能，在保持低内存占用和高能效以适用于设备端应用的同时，提升推理和解决问题的能力。

🚀 快速开始

LogiLlama 是一款经过微调的语言模型，基于 10 亿参数的基础模型，通过先进的逻辑推理技术进行了优化。以下是使用 Hugging Face Transformers 库调用 LogiLlama 的示例代码：

from transformers import AutoModelForCausalLM, AutoTokenizer

# 从我们的仓库加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained("goppa-ai/Goppa-LogiLlama", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("goppa-ai/Goppa-LogiLlama", trust_remote_code=True)

model.to('cuda')
text = "When faced with a complex problem, what should one do?"
input_ids = tokenizer(text, return_tensors="pt").to('cuda').input_ids
outputs = model.generate(
    input_ids,
    max_length=2500,
    temperature=0.6,
    top_p=0.9,
    repetition_penalty=1.2,
    pad_token_id=tokenizer.eos_token_id
)
print(tokenizer.batch_decode(outputs[:, input_ids.shape[1]:-1])[0].strip())

✨ 主要特性

尽管近期语言模型的发展趋势倾向于增加参数规模，但 LogiLlama 证明了“少即是多”的理念。通过对 10 亿参数的基础模型进行微调，并运用先进的逻辑推理技术，LogiLlama 具备以下特性：

• 增强推理能力：提升逻辑思维和知识整合能力，以提供更准确、更具上下文感知的响应。
• 高效性：专为设备端处理而设计，具有低内存和低能耗的特点。
• 透明度：我们的训练过程和配置文件完全开源，体现了我们对透明和可复现研究的承诺。

📚 详细文档

模型描述

配置文件

模型仓库包含几个关键的配置文件，以确保 LogiLlama 在 Hugging Face 生态系统中无缝运行：

• config.json：包含模型架构设置，如隐藏层大小、层数、注意力头数和其他超参数。
• generation_config.json：定义生成参数，如温度、top-p 采样和序列结束标记。
• special_tokens_map.json：映射分词过程中使用的特殊标记（如文本开始、文本结束、填充标记）。
• tokenizer_config.json：提供分词器的元数据和设置，确保与模型的词汇表和特殊标记一致。

训练细节

LogiLlama 通过向 10 亿参数的 LLaMA 基础模型中注入逻辑推理和特定领域知识进行微调。通过精心策划训练数据并采用专门技术，我们提升了模型处理推理任务的能力，而无需显著增加其规模。这个项目体现了我们致力于推进小型高效模型的发展，同时不牺牲性能。

推理与部署

• 模型大小：10 亿参数
• 张量类型：float32（F32）
• 部署：针对设备端推理和资源受限环境进行了优化。目前支持本地部署，敬请期待托管推理解决方案的更新。

📄 许可证

LogiLlama 采用 MIT 许可证 发布。

📚 引用

如果您在研究中使用了 LogiLlama，请引用以下内容：

@misc{goppa2025logillama,
      title={LogiLlama: Injecting Logical Reasoning into Small Language Models}, 
      author={Goppa AI},
      year={2025},
      note={https://github.com/GoppaAI/LogiLlama}
}

Goppa AI 致力于突破语言模型在效率和智能方面的界限。LogiLlama 是我们迈向创建小型模型的第一步，这些模型不仅资源友好，还具备处理复杂推理任务的智能。

祝您创新愉快！