Towerinstruct Mistral 7B V0.2

🚀 TowerInstruct-Mistral-7B-v0.2模型卡片

TowerInstruct-Mistral-7B-v0.2是一款用於處理多種翻譯相關任務的語言模型，它在性能上可與TowerInstruct-13B-v0.2相媲美，同時模型規模僅為其一半。該模型支持多種語言，為翻譯工作提供了高效且強大的解決方案。

🚀 快速開始

你可以使用🤗 Transformers庫中的pipeline()函數來運行此模型，以下是示例代碼：

# Install transformers from source - only needed for versions <= v4.34
# pip install git+https://github.com/huggingface/transformers.git
# pip install accelerate

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="Unbabel/TowerInstruct-Mistral-7B-v0.2", torch_dtype=torch.bfloat16, device_map="auto")
# We use the tokenizer’s chat template to format each message - see https://huggingface.co/docs/transformers/main/en/chat_templating
messages = [
    {"role": "user", "content": "Translate the following text from Portuguese into English.\nPortuguese: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.\nEnglish:"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=False)
print(outputs[0]["generated_text"])
# <|im_start|>user
# Translate the following text from Portuguese into English.
# Portuguese: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.
# English:<|im_end|>
# <|im_start|>assistant
# A group of researchers has launched a new model for translation-related tasks.

✨ 主要特性

• 多語言支持：支持英語、葡萄牙語、西班牙語、法語、德語、荷蘭語、意大利語、韓語、中文和俄語。
• 多功能任務處理：可處理多種翻譯相關任務，如通用機器翻譯、自動後編輯、命名實體識別、語法錯誤糾正和釋義生成等。
• 高性能與小體積：性能與TowerInstruct-13B-v0.2相當，但模型大小僅為其一半。

📦 安裝指南

文檔未提及具體安裝步驟，可參考代碼中的註釋：

# Install transformers from source - only needed for versions <= v4.34
# pip install git+https://github.com/huggingface/transformers.git
# pip install accelerate

📚 詳細文檔

模型詳情

模型描述

TowerInstruct-Mistral-7B-v0.2是通過在TowerBlocks監督微調數據集上對TowerBase的Mistral版本進行微調得到的語言模型。該模型經過訓練，能夠處理多種與翻譯相關的任務，例如通用機器翻譯（如句子和段落/文檔級翻譯、術語感知翻譯、上下文感知翻譯）、自動後編輯、命名實體識別、語法錯誤糾正和釋義生成。

此模型的性能與 TowerInstruct-13B-v0.2 相當，而大小僅為其一半。查看我們在 COLM 2024上發表的論文。

預期用途和限制

該模型最初在經過過濾和預處理的監督微調數據集 TowerBlocks 上進行微調，該數據集包含多種數據源：

• 翻譯（句子和段落級）
• 自動後編輯
• 機器翻譯評估
• 上下文感知翻譯
• 術語感知翻譯
• 多參考翻譯
• 命名實體識別
• 釋義生成
• 合成聊天數據
• 代碼指令

你可以在此處找到 TowerBlocks 數據集及其所有數據源。

超出適用範圍的使用

該模型不能保證對其支持的10種語言以外的語言有效。儘管我們在對話數據和代碼指令上訓練了該模型，但它並非旨在用作對話式聊天機器人或代碼助手。我們目前正在努力提高文檔級翻譯的質量和一致性，此模型不適合用作文檔級翻譯工具。

偏差、風險和限制

TowerInstruct-Mistral-7B-v0.2尚未與人類偏好對齊，因此該模型可能會生成有問題的輸出（例如，幻覺內容、有害內容或虛假陳述）。

提示格式

TowerInstruct-Mistral-7B-v0.2使用ChatML提示模板進行訓練，沒有任何系統提示。以下是一個示例：

<|im_start|>user
{用戶提示}<|im_end|>
<|im_start|>assistant
{模型響應}<|im_end|>
<|im_start|>user
[...]

監督任務

所有監督任務的提示可以在 TowerBlocks 中找到。我們為每個任務使用了多個提示模板。雖然不同的提示可能會產生不同的輸出，但下游性能的差異應該非常小。

訓練詳情

訓練數據

TowerBlocks 的鏈接。

引用

@inproceedings{
alves2024tower,
title={Tower: An Open Multilingual Large Language Model for Translation-Related Tasks},
author={Duarte Miguel Alves and Jos{\'e} Pombal and Nuno M Guerreiro and Pedro Henrique Martins and Jo{\~a}o Alves and Amin Farajian and Ben Peters and Ricardo Rei and Patrick Fernandes and Sweta Agrawal and Pierre Colombo and Jos{\'e} G. C. de Souza and Andre Martins},
booktitle={First Conference on Language Modeling},
year={2024},
url={https://openreview.net/forum?id=EHPns3hVkj}
}

📄 許可證

本模型採用CC - BY - NC - 4.0許可證。