Leniachat Gemma 2b V0

🚀 自然语言人工智能聊天与指令2B模型

本模型由自然语言人工智能公司（LenguajeNatural.AI）开发，旨在为西班牙语社区提供用于文本生成、聊天和指令处理的先进工具。这是我们计划推出的一系列模型中的首个。

🚀 快速开始

你可以通过Hugging Face API开始使用此模型，或者使用transformers库将其集成到你的应用程序中。以下是加载模型的示例代码：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "LenguajeNaturalAI/leniachat-gemma-2b-v0"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 生成文本
messages = [
  {"role": "system", "content": "Eres un asistente que ayuda al usuario a lo largo de la conversación resolviendo sus dudas."},
  {"role": "user", "content": "¿Qué fue la revolución industrial?"}
]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt")
with torch.no_grad():
  output = model.generate(input_ids, max_new_tokens=50)
print(tokenizer.decode(output[0], skip_special_tokens=True))

✨ 主要特性

• 专为西班牙语设计：该模型仅使用西班牙语进行训练，旨在最大限度地提高其在面向西班牙语用户的应用程序中的有效性。
• 多阶段训练：模型经过三个不同阶段的训练，以确保在广泛的任务中表现出色，包括多任务学习、高质量指令训练以及聊天和抽象问答训练。
• 基于先进基础模型：该模型基于google/gemma - 2b进行微调，融入了先进特性，以实现更好的文本生成和对西班牙语聊天及指令任务的理解。

📦 安装指南

暂未提及具体安装步骤，可参考上述快速开始部分的代码示例进行使用。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "LenguajeNaturalAI/leniachat-gemma-2b-v0"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 生成文本
messages = [
  {"role": "system", "content": "Eres un asistente que ayuda al usuario a lo largo de la conversación resolviendo sus dudas."},
  {"role": "user", "content": "¿Qué fue la revolución industrial?"}
]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt")
with torch.no_grad():
  output = model.generate(input_ids, max_new_tokens=50)
print(tokenizer.decode(output[0], skip_special_tokens=True))

高级用法

暂未提供高级用法示例，你可以根据基础用法结合自身需求进行拓展。

📚 详细文档

• 模型评估：为确保模型质量，已在多个数据集上进行了全面评估，结果显示该模型在西班牙语文本生成和指令理解方面表现出色。LeNIA - Chat模型评估的具体细节可参考以下表格。
• 使用范围和限制：该模型旨在用于西班牙语的文本生成、聊天机器人和虚拟助手应用程序。尽管经过训练以尽量减少偏差和错误，但建议在特定使用场景中评估其性能。用户应意识到语言模型固有的局限性，并负责任地使用此模型。此外，由于基础模型仅包含20亿个参数，该模型也存在此类规模模型固有的局限性。

🔧 技术细节

模型的训练分为三个不同阶段：

1. 西班牙语多任务学习：使用多个监督数据集进行类似FLAN风格的训练。
2. 高质量指令训练：微调模型以理解和生成对复杂指令的响应。
3. 聊天和抽象问答训练：优化模型以实现流畅对话和生成对抽象问题的回答。

在这三个阶段的训练中，均使用了该公司的autotransformers库。

📄 许可证

此模型根据Apache 2.0许可证进行分发。

其他信息

开发者信息

本模型由自然语言人工智能公司（LenguajeNatural.AI）开发。

模型基础信息

未来规划

计划继续改进此模型，并推出具有更强大功能的未来版本。你可以通过官网或领英页面关注我们的更新。

贡献说明

鼓励社区提供反馈、建议和改进意见。合作对于推动可访问和道德的人工智能发展至关重要。