Towerinstruct 13B V0.1 GGUF

🚀 TowerInstruct-13B-v0.1

TowerInstruct-13B-v0.1は、翻訳関連のタスクに特化した多言語言語モデルです。TowerBaseをTowerBlocksデータセットでファインチューニングして作成され、多様な翻訳タスクに対応しています。

🚀 クイックスタート

TowerInstruct-13B-v0.1を使用するには、🤗 Transformersのpipeline()関数を使って以下のように実行できます。

# Install transformers from source - only needed for versions <= v4.34
# pip install git+https://github.com/huggingface/transformers.git
# pip install accelerate

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="Unbabel/TowerInstruct-13B-v0.1", torch_dtype=torch.bfloat16, device_map="auto")
# We use the tokenizer’s chat template to format each message - see https://huggingface.co/docs/transformers/main/en/chat_templating
messages = [
    {"role": "user", "content": "Translate the following text from Portuguese into English.\nPortuguese: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.\nEnglish:"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=False)
print(outputs[0]["generated_text"])
# <|im_start|>user
# Translate the following text from Portuguese into English.
# Portuguese: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.
# English:<|im_end|>
# <|im_start|>assistant
# A group of researchers has launched a new model for translation-related tasks.

✨ 主な機能

TowerInstruct-13B-v0.1は、以下のような翻訳関連のタスクを処理するように訓練されています。

• 一般的な機械翻訳（文や段落/文書レベルの翻訳、用語対応翻訳、文脈対応翻訳など）
• 自動ポストエディション
• 固有表現認識
• 文法エラー訂正
• 言い換え生成

📦 インストール

モデルを使用するには、必要なライブラリをインストールする必要があります。

# Install transformers from source - only needed for versions <= v4.34
# pip install git+https://github.com/huggingface/transformers.git
# pip install accelerate

📚 ドキュメント

モデルの詳細

• 開発者: Unbabel, Instituto Superior Técnico, CentraleSupélec University of Paris-Saclay
• モデルタイプ: 翻訳関連のタスクに関する公開データセット、会話データセット、コード命令を混合したデータでファインチューニングされた13Bパラメータのモデル。
• 言語: 英語、ポルトガル語、スペイン語、フランス語、ドイツ語、オランダ語、イタリア語、韓国語、中国語、ロシア語
• ライセンス: CC-BY-NC-4.0、Llama 2はLLAMA 2 Community Licenseの下でライセンスされています。Copyright © Meta Platforms, Inc. All Rights Reserved.
• ファインチューニング元のモデル: TowerBase

想定される用途と制限

モデルは、フィルタリングされ前処理された教師付きファインチューニングデータセット（TowerBlocks）で最初にファインチューニングされました。このデータセットには、以下のような多様なデータソースが含まれています。

• 翻訳（文と段落レベル）
• 自動ポストエディション
• 機械翻訳評価
• 文脈対応翻訳
• 用語対応翻訳
• 複数参照翻訳
• 固有表現認識
• 言い換え生成
• 合成チャットデータ
• コード命令

想定外の用途

モデルは、サポートする10言語以外の言語での性能は保証されていません。また、会話データやコード命令で訓練されていますが、会話型チャットボットやコードアシスタントとしての使用を意図していません。現在、文書レベルの翻訳の品質と一貫性の向上に取り組んでいますが、このモデルは文書レベルの翻訳ツールとしての使用を意図していません。

バイアス、リスク、制限

TowerInstruct-v0.1は人間の嗜好に合わせて調整されていないため、問題のある出力（幻覚、有害な内容、誤った記述など）を生成する可能性があります。

プロンプト形式

TowerInstruct-v0.1は、システムプロンプトなしでChatMLプロンプトテンプレートを使用して訓練されました。以下に例を示します。

<|im_start|>user
{USER PROMPT}<|im_end|>
<|im_start|>assistant
{MODEL RESPONSE}<|im_end|>
<|im_start|>user
[...]

教師付きタスク

すべての教師付きタスクのプロンプトは、TowerBlocksにあります。各タスクには複数のプロンプトテンプレートを使用しています。異なるプロンプトによって異なる出力が得られる場合がありますが、下流の性能の違いは非常に小さいはずです。

🔧 技術詳細

訓練データ

TowerBlocksへのリンクです。

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

• total_train_batch_size: 256
• learning_rate: 7e-06
• lr_scheduler_type: cosine
• lr_scheduler_warmup_steps: 500
• weight_decay: 0.01
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• num_epochs: 4
• max_seq_length: 2048

📄 ライセンス

このモデルはCC-BY-NC-4.0ライセンスの下で提供されています。Llama 2はLLAMA 2 Community Licenseの下でライセンスされています。Copyright © Meta Platforms, Inc. All Rights Reserved.