Granite 3.1 3b A800m Instruct

🚀 Granite-3.1-3B-A800M-Instruct

Granite-3.1-3B-A800M-Instruct 是一款拥有 30 亿参数的长上下文指令模型。它基于开源的指令数据集和内部合成数据集，对基础模型进行微调，旨在解决长上下文问题，可用于构建多领域的 AI 助手。

🚀 快速开始

安装依赖库

在使用 Granite-3.1-3B-A800M-Instruct 模型之前，需要安装以下库：

pip install torch torchvision torchaudio
pip install accelerate
pip install transformers

代码示例

以下是一个简单的使用示例，展示了如何使用该模型进行文本生成：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "auto"
model_path = "ibm-granite/granite-3.1-3b-a800m-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# drop device_map if running on CPU
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# change input text as desired
chat = [
    { "role": "user", "content": "Please list one IBM Research laboratory located in the United States. You should only output its name and location." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
# tokenize the text
input_tokens = tokenizer(chat, return_tensors="pt").to(device)
# generate output tokens
output = model.generate(**input_tokens, 
                        max_new_tokens=100)
# decode output tokens into text
output = tokenizer.batch_decode(output)
# print output
print(output)

✨ 主要特性

多语言支持

支持英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文等 12 种语言。用户还可以对模型进行微调，以支持更多语言。

广泛的任务能力

• 文本摘要：能够对长文本进行有效摘要。
• 文本分类：对文本进行分类。
• 信息提取：从文本中提取关键信息。
• 问答系统：回答用户的问题。
• 检索增强生成（RAG）：结合检索信息进行文本生成。
• 代码相关任务：处理代码相关的任务。
• 函数调用任务：执行函数调用任务。
• 多语言对话：支持多语言的对话场景。
• 长上下文任务：处理长文档摘要、长文档问答等长上下文任务。

📦 安装指南

安装所需的库：

pip install torch torchvision torchaudio
pip install accelerate
pip install transformers

💻 使用示例

基础用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "auto"
model_path = "ibm-granite/granite-3.1-3b-a800m-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# drop device_map if running on CPU
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# change input text as desired
chat = [
    { "role": "user", "content": "Please list one IBM Research laboratory located in the United States. You should only output its name and location." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
# tokenize the text
input_tokens = tokenizer(chat, return_tensors="pt").to(device)
# generate output tokens
output = model.generate(**input_tokens, 
                        max_new_tokens=100)
# decode output tokens into text
output = tokenizer.batch_decode(output)
# print output
print(output)

📚 详细文档

评估结果

HuggingFace Open LLM Leaderboard V1

HuggingFace Open LLM Leaderboard V2

模型架构

Granite-3.1-3B-A800M-Instruct 基于仅解码器的密集 Transformer 架构，核心组件包括 GQA 和 RoPE、带有 SwiGLU 的 MLP、RMSNorm 以及共享的输入/输出嵌入。

训练数据

SFT 数据主要来自三个关键来源：

1. 具有宽松许可的公开可用数据集。
2. 针对特定能力（包括长上下文任务）的内部合成数据。
3. 少量人工策划的数据。

详细的数据集归因可在 Granite 3.0 技术报告、Granite 3.1 技术报告（即将发布） 和 作者列表 中找到。

基础设施

使用 IBM 的超级计算集群 Blue Vela 训练 Granite 3.1 语言模型，该集群配备了 NVIDIA H100 GPU，为模型训练提供了可扩展且高效的基础设施。

伦理考量与局限性

• 多语言性能：虽然模型支持多语言对话，但在非英语任务上的性能可能不如英语任务。引入少量示例（少样本学习）可以帮助模型生成更准确的输出。
• 安全性：尽管模型在训练过程中考虑了安全性，但在某些情况下，模型可能会产生不准确、有偏见或不安全的响应。因此，建议社区在使用该模型时进行适当的安全测试和调整。

资源链接

• 了解最新更新：https://www.ibm.com/granite
• 入门教程和最佳实践：https://www.ibm.com/granite/docs/
• 最新学习资源：https://ibm.biz/granite-learning-resources

🔧 技术细节

Granite-3.1-3B-A800M-Instruct 基于仅解码器的密集 Transformer 架构，核心组件包括 GQA 和 RoPE、带有 SwiGLU 的 MLP、RMSNorm 以及共享的输入/输出嵌入。这种架构设计使得模型在处理长上下文任务时具有更好的性能。

📄 许可证

本模型采用 Apache 2.0 许可证。

模型基本信息

重要提示

⚠️ 重要提示

尽管模型在训练过程中考虑了安全性，但在某些情况下，模型可能会产生不准确、有偏见或不安全的响应。因此，建议社区在使用该模型时进行适当的安全测试和调整。

使用建议

💡 使用建议

当处理非英语任务时，引入少量示例（少样本学习）可以帮助模型生成更准确的输出。