Granite 3.0 3b A800m Instruct

🚀 Granite-3.0-3B-A800M-Instruct

Granite-3.0-3B-A800M-Instruct是一個擁有30億參數的模型，它基於特定基礎模型微調而來。該模型具備多語言處理能力，可用於多種自然語言處理任務，如文本生成、問答、代碼生成等，在商業應用等多領域有廣泛用途。

🚀 快速開始

安裝依賴庫

安裝以下庫以使用Granite-3.0-3B-A800M-Instruct模型：

pip install torch torchvision torchaudio
pip install accelerate
pip install transformers

使用示例

以下是使用該模型的簡單示例代碼：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "auto"
model_path = "ibm-granite/granite-3.0-3b-a800m-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# drop device_map if running on CPU
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
# change input text as desired
chat = [
    { "role": "user", "content": "Please list one IBM Research laboratory located in the United States. You should only output its name and location." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
# tokenize the text
input_tokens = tokenizer(chat, return_tensors="pt").to(device)
# generate output tokens
output = model.generate(**input_tokens, 
                        max_new_tokens=100)
# decode output tokens into text
output = tokenizer.batch_decode(output)
# print output
print(output)

✨ 主要特性

• 多語言支持：支持英語、德語、西班牙語、法語、日語、葡萄牙語、阿拉伯語、捷克語、意大利語、韓語、荷蘭語和中文等12種語言，用戶還可對模型進行微調以支持更多語言。
• 多種任務能力：具備文本摘要、文本分類、文本提取、問答、檢索增強生成（RAG）、代碼相關任務、函數調用任務以及多語言對話等能力。
• 先進架構：基於僅解碼器的稀疏專家混合（MoE）變壓器架構，包含細粒度專家、無丟棄令牌路由和負載均衡損失等核心組件。

📚 詳細文檔

模型信息

模型架構參數

評估結果

該模型在多個數據集上進行了評估，以下是部分評估指標（pass@1）：

🔧 技術細節

Granite-3.0-3B-A800M-Instruct基於僅解碼器的稀疏專家混合（MoE）變壓器架構。該架構的核心組件包括：

• 細粒度專家：能夠針對不同的任務和輸入進行專業化處理。
• 無丟棄令牌路由：確保令牌在專家之間的高效路由，減少信息丟失。
• 負載均衡損失：平衡不同專家之間的負載，提高模型的整體性能。

📄 許可證

本模型採用Apache 2.0許可證。

⚠️ 重要提示

• 雖然該模型經過了安全對齊處理，但在某些情況下仍可能產生不準確、有偏差或不安全的響應。因此，建議社區在使用該模型時進行適當的安全測試和針對特定任務的調優。
• 該模型主要使用英語的指令-響應數據進行微調，儘管可以處理多語言對話，但在非英語任務上的性能可能不如英語任務。在這種情況下，引入少量示例（少樣本學習）可以幫助模型生成更準確的輸出。

💡 使用建議

• 在進行多語言任務時，可引入少量示例（少樣本學習）來提高模型輸出的準確性。
• 使用前進行適當的安全測試和針對特定任務的調優，以確保模型的輸出符合預期。

🔗 相關資源

• 瞭解Granite的最新更新：https://www.ibm.com/granite
• 從教程、最佳實踐和提示工程建議開始：https://www.ibm.com/granite/docs/
• 瞭解最新的Granite學習資源：https://ibm.biz/granite-learning-resources

開發者信息

• 開發者：Granite團隊，IBM
• GitHub倉庫：ibm-granite/granite-3.0-language-models
• 網站：Granite文檔
• 論文：Granite 3.0語言模型
• 發佈日期：2024年10月21日