🚀 TowerInstruct-13B-v0.1
TowerInstruct-13B-v0.1は、翻訳関連のタスクを扱うために微調整された言語モデルです。多様な言語に対応し、翻訳や自動校正などのタスクに有効です。
🚀 クイックスタート
以下は、🤗 Transformersのpipeline()
関数を使用してモデルを実行する方法です。
import torch
from transformers import pipeline
pipe = pipeline("text-generation", model="Unbabel/TowerInstruct-13B-v0.1", torch_dtype=torch.bfloat16, device_map="auto")
messages = [
{"role": "user", "content": "Translate the following text from Portuguese into English.\nPortuguese: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.\nEnglish:"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=False)
print(outputs[0]["generated_text"])
✨ 主な機能
- 一般的な機械翻訳(文や段落/文書レベルの翻訳、用語対応翻訳、文脈対応翻訳など)
- 自動校正
- 機械翻訳評価
- 文脈対応翻訳
- 用語対応翻訳
- 複数参照翻訳
- 固有表現認識
- 言い換え生成
- 合成チャットデータ処理
- コード命令処理
📦 インストール
pip install git+https://github.com/huggingface/transformers.git
pip install accelerate
📚 ドキュメント
モデルの詳細
モデルの説明
TowerInstruct-13Bは、TowerBaseをTowerBlocksの教師付き微調整データセットで微調整した言語モデルです。TowerInstruct-13B-v0.1は、このシリーズの最初のモデルです。
このモデルは、いくつかの翻訳関連のタスクを処理するように訓練されています。
Property |
Details |
モデルタイプ |
A 13B parameter model fine-tuned on a mix of publicly available, synthetic datasets on translation-related tasks, as well as conversational datasets and code instructions. |
言語 (NLP) |
English, Portuguese, Spanish, French, German, Dutch, Italian, Korean, Chinese, Russian |
ライセンス |
CC-BY-NC-4.0, Llama 2 is licensed under the LLAMA 2 Community License, Copyright © Meta Platforms, Inc. All Rights Reserved. |
微調整元のモデル |
TowerBase |
想定される用途と制限
モデルは、フィルタリングされ前処理された教師付き微調整データセット(TowerBlocks-v0.2)で最初に微調整されました。
スコープ外の使用
モデルは、サポートされている10言語以外の言語での性能は保証されていません。また、会話データやコード命令で訓練されていますが、会話型チャットボットやコードアシスタントとして使用することを意図していません。
バイアス、リスク、制限
TowerInstruct-v0.1は人間の嗜好に合わせて調整されていないため、問題のある出力(幻覚、有害な内容、誤った声明など)を生成する可能性があります。
プロンプト形式
TowerInstruct-v0.1は、システムプロンプトなしでChatMLプロンプトテンプレートを使用して訓練されました。
<|im_start|>user
{USER PROMPT}<|im_end|>
<|im_start|>assistant
{MODEL RESPONSE}<|im_end|>
<|im_start|>user
[...]
教師付きタスク
すべての教師付きタスクのプロンプトは、TowerBlocks-v0.2にあります。
訓練の詳細
訓練データ
TowerBlocks-v0.2へのリンク。
訓練ハイパーパラメータ
訓練中に使用されたハイパーパラメータは以下の通りです。
- total_train_batch_size: 256
- learning_rate: 7e-06
- lr_scheduler_type: cosine
- lr_scheduler_warmup_steps: 500
- weight_decay: 0.01
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- num_epochs: 4
- max_seq_length: 2048
📄 ライセンス
CC-BY-NC-4.0, Llama 2 is licensed under the LLAMA 2 Community License, Copyright © Meta Platforms, Inc. All Rights Reserved.
🔧 技術詳細
今後の技術レポートで詳細を公開します。現時点では、モデルの結果をこちらで確認できます。
📖 引用
@misc{tower_llm_2024,
title={Tower: An Open Multilingual Large Language Model for Translation-Related Tasks},
author={Duarte M. Alves and José Pombal and Nuno M. Guerreiro and Pedro H. Martins and João Alves and Amin Farajian and Ben Peters and Ricardo Rei and Patrick Fernandes and Sweta Agrawal and Pierre Colombo and José G. C. de Souza and André F. T. Martins},
year={2024},
eprint={2402.17733},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
