Granite 3.0 3b A800m Instruct

🚀 Granite-3.0-3B-A800M-Instruct

Granite-3.0-3B-A800M-Instruct是一个拥有30亿参数的模型，它基于特定基础模型微调而来。该模型具备多语言处理能力，可用于多种自然语言处理任务，如文本生成、问答、代码生成等，在商业应用等多领域有广泛用途。

🚀 快速开始

安装依赖库

安装以下库以使用Granite-3.0-3B-A800M-Instruct模型：

pip install torch torchvision torchaudio
pip install accelerate
pip install transformers

使用示例

以下是使用该模型的简单示例代码：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "auto"
model_path = "ibm-granite/granite-3.0-3b-a800m-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# drop device_map if running on CPU
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# change input text as desired
chat = [
    { "role": "user", "content": "Please list one IBM Research laboratory located in the United States. You should only output its name and location." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
# tokenize the text
input_tokens = tokenizer(chat, return_tensors="pt").to(device)
# generate output tokens
output = model.generate(**input_tokens, 
                        max_new_tokens=100)
# decode output tokens into text
output = tokenizer.batch_decode(output)
# print output
print(output)

✨ 主要特性

• 多语言支持：支持英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文等12种语言，用户还可对模型进行微调以支持更多语言。
• 多种任务能力：具备文本摘要、文本分类、文本提取、问答、检索增强生成（RAG）、代码相关任务、函数调用任务以及多语言对话等能力。
• 先进架构：基于仅解码器的稀疏专家混合（MoE）变压器架构，包含细粒度专家、无丢弃令牌路由和负载均衡损失等核心组件。

📚 详细文档

模型信息

模型架构参数

评估结果

该模型在多个数据集上进行了评估，以下是部分评估指标（pass@1）：

🔧 技术细节

Granite-3.0-3B-A800M-Instruct基于仅解码器的稀疏专家混合（MoE）变压器架构。该架构的核心组件包括：

• 细粒度专家：能够针对不同的任务和输入进行专业化处理。
• 无丢弃令牌路由：确保令牌在专家之间的高效路由，减少信息丢失。
• 负载均衡损失：平衡不同专家之间的负载，提高模型的整体性能。

📄 许可证

本模型采用Apache 2.0许可证。

⚠️ 重要提示

• 虽然该模型经过了安全对齐处理，但在某些情况下仍可能产生不准确、有偏差或不安全的响应。因此，建议社区在使用该模型时进行适当的安全测试和针对特定任务的调优。
• 该模型主要使用英语的指令-响应数据进行微调，尽管可以处理多语言对话，但在非英语任务上的性能可能不如英语任务。在这种情况下，引入少量示例（少样本学习）可以帮助模型生成更准确的输出。

💡 使用建议

• 在进行多语言任务时，可引入少量示例（少样本学习）来提高模型输出的准确性。
• 使用前进行适当的安全测试和针对特定任务的调优，以确保模型的输出符合预期。

🔗 相关资源

• 了解Granite的最新更新：https://www.ibm.com/granite
• 从教程、最佳实践和提示工程建议开始：https://www.ibm.com/granite/docs/
• 了解最新的Granite学习资源：https://ibm.biz/granite-learning-resources

开发者信息

• 开发者：Granite团队，IBM
• GitHub仓库：ibm-granite/granite-3.0-language-models
• 网站：Granite文档
• 论文：Granite 3.0语言模型
• 发布日期：2024年10月21日