Towerinstruct 7B V0.1

🚀 TowerInstruct-7B-v0.1模型卡片

TowerInstruct-7B-v0.1是一款经过微调的语言模型，专为处理多种翻译相关任务而设计。它基于TowerBase模型在TowerBlocks监督微调数据集上进行微调，能在机器翻译、自动后编辑、命名实体识别等多个领域发挥作用。

🚀 快速开始

你可以使用🤗 Transformers库的pipeline()函数运行该模型：

# 从源代码安装transformers - 仅适用于版本 <= v4.34
# pip install git+https://github.com/huggingface/transformers.git
# pip install accelerate

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="Unbabel/TowerInstruct-v0.1", torch_dtype=torch.bfloat16, device_map="auto")
# 我们使用分词器的聊天模板来格式化每条消息 - 请参阅 https://huggingface.co/docs/transformers/main/en/chat_templating
messages = [
    {"role": "user", "content": "Translate the following text from Portuguese into English.\nPortuguese: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.\nEnglish:"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=False)
print(outputs[0]["generated_text"])
# <|im_start|>user
# Translate the following text from Portuguese into English.
# Portuguese: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.
# English:<|im_end|>
# <|im_start|>assistant
# A group of researchers has launched a new model for translation-related tasks.

✨ 主要特性

• 多语言支持：支持英语、葡萄牙语、西班牙语、法语、德语、荷兰语、意大利语、韩语、中文和俄语。
• 多任务处理：能够处理多种翻译相关任务，如通用机器翻译、自动后编辑、命名实体识别、语法错误纠正和释义生成等。

📦 安装指南

运行模型前，你需要安装必要的库：

# 从源代码安装transformers - 仅适用于版本 <= v4.34
pip install git+https://github.com/huggingface/transformers.git
pip install accelerate

📚 详细文档

模型详情

模型描述

TowerInstruct-7B是在TowerBase模型基础上，在TowerBlocks监督微调数据集上进行微调得到的语言模型。TowerInstruct-7B-v0.1是该系列的第一个模型。该模型经过训练，可处理多种翻译相关任务，如通用机器翻译（如句子和段落级翻译、术语感知翻译、上下文感知翻译）、自动后编辑、命名实体识别、语法错误纠正和释义生成等。更多详细信息将在后续的技术报告中发布。

• 开发者：Unbabel、里斯本大学高等技术学院、巴黎萨克雷大学中央理工-高等电力学院
• 模型类型：一个70亿参数的模型，在与翻译相关任务的公开可用合成数据集、对话数据集和代码指令的混合数据上进行微调。
• 支持语言（NLP）：英语、葡萄牙语、西班牙语、法语、德语、荷兰语、意大利语、韩语、中文、俄语
• 许可证：CC-BY-NC-4.0，Llama 2根据LLAMA 2社区许可证获得许可，版权所有 © Meta Platforms, Inc. 保留所有权利。
• 微调基础模型：TowerBase

预期用途和限制

该模型最初在经过过滤和预处理的监督微调数据集（TowerBlocks）上进行微调，该数据集包含多种数据源：

• 翻译（句子和段落级）
• 自动后编辑
• 机器翻译评估
• 上下文感知翻译
• 术语感知翻译
• 多参考翻译
• 命名实体识别
• 释义生成
• 合成聊天数据
• 代码指令

你可以在这里找到TowerBlocks数据集及其所有数据源。

超出范围的使用

该模型不能保证对其支持的10种语言以外的语言有效。尽管我们在对话数据和代码指令上训练了该模型，但它并非旨在用作对话式聊天机器人或代码助手。目前，我们正在努力提高文档级翻译的质量和一致性，该模型不适合用作文档级翻译工具。

偏差、风险和限制

TowerInstruct-v0.1尚未与人类偏好对齐，因此该模型可能会生成有问题的输出（如幻觉、有害内容或虚假陈述）。

提示格式

TowerInstruct-v0.1使用ChatML提示模板进行训练，无系统提示。示例如下：

<|im_start|>user
{用户提示}<|im_end|>
<|im_start|>assistant
{模型响应}<|im_end|>
<|im_start|>user
[...]

监督任务

所有监督任务的提示可在TowerBlocks中找到。我们为每个任务使用了多个提示模板。虽然不同的提示可能会产生不同的输出，但下游性能的差异应该非常小。

训练详情

训练数据

TowerBlocks数据集链接。

训练超参数

训练期间使用了以下超参数：

📄 许可证

本模型采用CC-BY-NC-4.0许可证，Llama 2根据LLAMA 2社区许可证获得许可。

📚 引用

@misc{tower_llm_2024,
      title={Tower: An Open Multilingual Large Language Model for Translation-Related Tasks}, 
      author={Duarte M. Alves and José Pombal and Nuno M. Guerreiro and Pedro H. Martins and João Alves and Amin Farajian and Ben Peters and Ricardo Rei and Patrick Fernandes and Sweta Agrawal and Pierre Colombo and José G. C. de Souza and André F. T. Martins},
      year={2024},
      eprint={2402.17733},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}