Towerinstruct Mistral 7B V0.2

🚀 TowerInstruct-Mistral-7B-v0.2 モデルカード

TowerInstruct-Mistral-7B-v0.2は、翻訳関連のタスクを扱うために訓練された言語モデルです。このモデルは、TowerBaseのMistralバージョンをTowerBlocksの教師付き微調整データセットで微調整したもので、TowerInstruct-13B-v0.2と同等の性能を持ちながら、サイズは半分です。

🚀 クイックスタート

🤗 Transformersのpipeline()関数を使ってこのモデルを実行する方法は次の通りです。

# Install transformers from source - only needed for versions <= v4.34
# pip install git+https://github.com/huggingface/transformers.git
# pip install accelerate

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="Unbabel/TowerInstruct-Mistral-7B-v0.2", torch_dtype=torch.bfloat16, device_map="auto")
# We use the tokenizer’s chat template to format each message - see https://huggingface.co/docs/transformers/main/en/chat_templating
messages = [
    {"role": "user", "content": "Translate the following text from Portuguese into English.\nPortuguese: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.\nEnglish:"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=False)
print(outputs[0]["generated_text"])
# <|im_start|>user
# Translate the following text from Portuguese into English.
# Portuguese: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.
# English:<|im_end|>
# <|im_start|>assistant
# A group of researchers has launched a new model for translation-related tasks.

✨ 主な機能

このモデルは、一般的な機械翻訳（文や段落/文書レベルの翻訳、用語認識翻訳、文脈認識翻訳など）、自動ポストエディット、固有表現認識、文法エラー修正、言い換え生成などの翻訳関連のタスクを扱うことができます。

📚 ドキュメント

モデルの詳細

モデルの説明

TowerInstruct-Mistral-7B-v0.2は、TowerBaseのMistralバージョンをTowerBlocksの教師付き微調整データセットで微調整した言語モデルです。このモデルは、複数の翻訳関連のタスクを扱うように訓練されています。

• 開発者: Unbabel、Instituto Superior Técnico、CentraleSupélec University of Paris-Saclay
• モデルのタイプ: 70億パラメータのモデルで、公開されている合成データセット、会話データセット、コード命令を組み合わせて微調整されています。
• 言語: 英語、ポルトガル語、スペイン語、フランス語、ドイツ語、オランダ語、イタリア語、韓国語、中国語、ロシア語
• ライセンス: CC-BY-NC-4.0

想定される用途と制限

このモデルは、フィルタリングされて前処理された教師付き微調整データセット(TowerBlocks)で最初に微調整されました。このデータセットには、様々なデータソースが含まれています。

• 翻訳（文と段落レベル）
• 自動ポストエディット
• 機械翻訳評価
• 文脈認識翻訳
• 用語認識翻訳
• 複数参照翻訳
• 固有表現認識
• 言い換え生成
• 合成チャットデータ
• コード命令

想定外の用途

このモデルは、サポートされている10言語以外の言語に対しては性能が保証されていません。会話データやコード命令で訓練されていますが、会話型チャットボットやコードアシスタントとして使用することを意図していません。また、現在文書レベルの翻訳の品質と一貫性の向上に取り組んでいますが、このモデルは文書レベルの翻訳ツールとして使用することを意図していません。

バイアス、リスク、制限

TowerInstruct-Mistral-7B-v0.2は人間の好みに合わせて調整されていないため、問題のある出力（幻覚、有害な内容、誤った声明など）を生成する可能性があります。

プロンプト形式

TowerInstruct-Mistral-7B-v0.2は、システムプロンプトなしでChatMLプロンプトテンプレートを使用して訓練されました。以下に例を示します。

<|im_start|>user
{ユーザーのプロンプト}<|im_end|>
<|im_start|>assistant
{モデルの応答}<|im_end|>
<|im_start|>user
[...]

教師付きタスク

すべての教師付きタスクのプロンプトは、TowerBlocksにあります。各タスクには複数のプロンプトテンプレートを使用しています。異なるプロンプトで異なる出力が得られる場合がありますが、下流の性能の差は非常に小さいはずです。

訓練の詳細

訓練データ

TowerBlocksへのリンクです。

📄 ライセンス

このモデルはCC-BY-NC-4.0ライセンスの下で提供されています。

引用

@inproceedings{
alves2024tower,
title={Tower: An Open Multilingual Large Language Model for Translation-Related Tasks},
author={Duarte Miguel Alves and Jos{\'e} Pombal and Nuno M Guerreiro and Pedro Henrique Martins and Jo{\~a}o Alves and Amin Farajian and Ben Peters and Ricardo Rei and Patrick Fernandes and Sweta Agrawal and Pierre Colombo and Jos{\'e} G. C. de Souza and Andre Martins},
booktitle={First Conference on Language Modeling},
year={2024},
url={https://openreview.net/forum?id=EHPns3hVkj}
}