Towerinstruct 13B V0.1

🚀 TowerInstruct-13B-v0.1

TowerInstruct-13B-v0.1は、翻訳関連のタスクを扱うために微調整された言語モデルです。多様な言語に対応し、翻訳や自動校正などのタスクに有効です。

🚀 クイックスタート

以下は、🤗 Transformersのpipeline()関数を使用してモデルを実行する方法です。

# Install transformers from source - only needed for versions <= v4.34
# pip install git+https://github.com/huggingface/transformers.git
# pip install accelerate

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="Unbabel/TowerInstruct-13B-v0.1", torch_dtype=torch.bfloat16, device_map="auto")
# We use the tokenizer’s chat template to format each message - see https://huggingface.co/docs/transformers/main/en/chat_templating
messages = [
    {"role": "user", "content": "Translate the following text from Portuguese into English.\nPortuguese: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.\nEnglish:"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=False)
print(outputs[0]["generated_text"])
# <|im_start|>user
# Translate the following text from Portuguese into English.
# Portuguese: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.
# English:<|im_end|>
# <|im_start|>assistant
# A group of researchers has launched a new model for translation-related tasks.

✨ 主な機能

• 一般的な機械翻訳（文や段落/文書レベルの翻訳、用語対応翻訳、文脈対応翻訳など）
• 自動校正
• 機械翻訳評価
• 文脈対応翻訳
• 用語対応翻訳
• 複数参照翻訳
• 固有表現認識
• 言い換え生成
• 合成チャットデータ処理
• コード命令処理

📦 インストール

# Install transformers from source - only needed for versions <= v4.34
pip install git+https://github.com/huggingface/transformers.git
pip install accelerate

📚 ドキュメント

モデルの詳細

モデルの説明

TowerInstruct-13Bは、TowerBaseをTowerBlocksの教師付き微調整データセットで微調整した言語モデルです。TowerInstruct-13B-v0.1は、このシリーズの最初のモデルです。 このモデルは、いくつかの翻訳関連のタスクを処理するように訓練されています。

想定される用途と制限

モデルは、フィルタリングされ前処理された教師付き微調整データセット(TowerBlocks-v0.2)で最初に微調整されました。

スコープ外の使用

モデルは、サポートされている10言語以外の言語での性能は保証されていません。また、会話データやコード命令で訓練されていますが、会話型チャットボットやコードアシスタントとして使用することを意図していません。

バイアス、リスク、制限

TowerInstruct-v0.1は人間の嗜好に合わせて調整されていないため、問題のある出力（幻覚、有害な内容、誤った声明など）を生成する可能性があります。

プロンプト形式

TowerInstruct-v0.1は、システムプロンプトなしでChatMLプロンプトテンプレートを使用して訓練されました。

<|im_start|>user
{USER PROMPT}<|im_end|>
<|im_start|>assistant
{MODEL RESPONSE}<|im_end|>
<|im_start|>user
[...]

教師付きタスク

すべての教師付きタスクのプロンプトは、TowerBlocks-v0.2にあります。

訓練の詳細

訓練データ

TowerBlocks-v0.2へのリンク。

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

• total_train_batch_size: 256
• learning_rate: 7e-06
• lr_scheduler_type: cosine
• lr_scheduler_warmup_steps: 500
• weight_decay: 0.01
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• num_epochs: 4
• max_seq_length: 2048

📄 ライセンス

CC-BY-NC-4.0, Llama 2 is licensed under the LLAMA 2 Community License, Copyright © Meta Platforms, Inc. All Rights Reserved.

🔧 技術詳細

今後の技術レポートで詳細を公開します。現時点では、モデルの結果をこちらで確認できます。

📖 引用

@misc{tower_llm_2024,
      title={Tower: An Open Multilingual Large Language Model for Translation-Related Tasks}, 
      author={Duarte M. Alves and José Pombal and Nuno M. Guerreiro and Pedro H. Martins and João Alves and Amin Farajian and Ben Peters and Ricardo Rei and Patrick Fernandes and Sweta Agrawal and Pierre Colombo and José G. C. de Souza and André F. T. Martins},
      year={2024},
      eprint={2402.17733},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}