Towerinstruct Mistral 7B V0.2

🚀 TowerInstruct-Mistral-7B-v0.2模型卡片

TowerInstruct-Mistral-7B-v0.2是一款用于处理多种翻译相关任务的语言模型，它在性能上可与TowerInstruct-13B-v0.2相媲美，同时模型规模仅为其一半。该模型支持多种语言，为翻译工作提供了高效且强大的解决方案。

🚀 快速开始

你可以使用🤗 Transformers库中的pipeline()函数来运行此模型，以下是示例代码：

# Install transformers from source - only needed for versions <= v4.34
# pip install git+https://github.com/huggingface/transformers.git
# pip install accelerate

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="Unbabel/TowerInstruct-Mistral-7B-v0.2", torch_dtype=torch.bfloat16, device_map="auto")
# We use the tokenizer’s chat template to format each message - see https://huggingface.co/docs/transformers/main/en/chat_templating
messages = [
    {"role": "user", "content": "Translate the following text from Portuguese into English.\nPortuguese: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.\nEnglish:"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=False)
print(outputs[0]["generated_text"])
# <|im_start|>user
# Translate the following text from Portuguese into English.
# Portuguese: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.
# English:<|im_end|>
# <|im_start|>assistant
# A group of researchers has launched a new model for translation-related tasks.

✨ 主要特性

• 多语言支持：支持英语、葡萄牙语、西班牙语、法语、德语、荷兰语、意大利语、韩语、中文和俄语。
• 多功能任务处理：可处理多种翻译相关任务，如通用机器翻译、自动后编辑、命名实体识别、语法错误纠正和释义生成等。
• 高性能与小体积：性能与TowerInstruct-13B-v0.2相当，但模型大小仅为其一半。

📦 安装指南

文档未提及具体安装步骤，可参考代码中的注释：

# Install transformers from source - only needed for versions <= v4.34
# pip install git+https://github.com/huggingface/transformers.git
# pip install accelerate

📚 详细文档

模型详情

模型描述

TowerInstruct-Mistral-7B-v0.2是通过在TowerBlocks监督微调数据集上对TowerBase的Mistral版本进行微调得到的语言模型。该模型经过训练，能够处理多种与翻译相关的任务，例如通用机器翻译（如句子和段落/文档级翻译、术语感知翻译、上下文感知翻译）、自动后编辑、命名实体识别、语法错误纠正和释义生成。

此模型的性能与 TowerInstruct-13B-v0.2 相当，而大小仅为其一半。查看我们在 COLM 2024上发表的论文。

预期用途和限制

该模型最初在经过过滤和预处理的监督微调数据集 TowerBlocks 上进行微调，该数据集包含多种数据源：

• 翻译（句子和段落级）
• 自动后编辑
• 机器翻译评估
• 上下文感知翻译
• 术语感知翻译
• 多参考翻译
• 命名实体识别
• 释义生成
• 合成聊天数据
• 代码指令

你可以在此处找到 TowerBlocks 数据集及其所有数据源。

超出适用范围的使用

该模型不能保证对其支持的10种语言以外的语言有效。尽管我们在对话数据和代码指令上训练了该模型，但它并非旨在用作对话式聊天机器人或代码助手。我们目前正在努力提高文档级翻译的质量和一致性，此模型不适合用作文档级翻译工具。

偏差、风险和限制

TowerInstruct-Mistral-7B-v0.2尚未与人类偏好对齐，因此该模型可能会生成有问题的输出（例如，幻觉内容、有害内容或虚假陈述）。

提示格式

TowerInstruct-Mistral-7B-v0.2使用ChatML提示模板进行训练，没有任何系统提示。以下是一个示例：

<|im_start|>user
{用户提示}<|im_end|>
<|im_start|>assistant
{模型响应}<|im_end|>
<|im_start|>user
[...]

监督任务

所有监督任务的提示可以在 TowerBlocks 中找到。我们为每个任务使用了多个提示模板。虽然不同的提示可能会产生不同的输出，但下游性能的差异应该非常小。

训练详情

训练数据

TowerBlocks 的链接。

引用

@inproceedings{
alves2024tower,
title={Tower: An Open Multilingual Large Language Model for Translation-Related Tasks},
author={Duarte Miguel Alves and Jos{\'e} Pombal and Nuno M Guerreiro and Pedro Henrique Martins and Jo{\~a}o Alves and Amin Farajian and Ben Peters and Ricardo Rei and Patrick Fernandes and Sweta Agrawal and Pierre Colombo and Jos{\'e} G. C. de Souza and Andre Martins},
booktitle={First Conference on Language Modeling},
year={2024},
url={https://openreview.net/forum?id=EHPns3hVkj}
}

📄 许可证

本模型采用CC - BY - NC - 4.0许可证。