Towerinstruct 13B V0.1 GGUF

🚀 TowerInstruct-13B-v0.1模型卡片

TowerInstruct-13B-v0.1是一款經過精心微調的語言模型，專為處理各類翻譯相關任務而設計。它基於TowerBase模型，在TowerBlocks監督微調數據集上進行訓練，能夠在多種語言之間實現高質量的翻譯和處理。

🚀 快速開始

你可以使用🤗 Transformers庫中的pipeline()函數來運行該模型：

# 從源代碼安裝transformers - 僅適用於版本 <= v4.34
# pip install git+https://github.com/huggingface/transformers.git
# pip install accelerate

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="Unbabel/TowerInstruct-13B-v0.1", torch_dtype=torch.bfloat16, device_map="auto")
# 我們使用分詞器的聊天模板來格式化每條消息 - 請參閱 https://huggingface.co/docs/transformers/main/en/chat_templating
messages = [
    {"role": "user", "content": "Translate the following text from Portuguese into English.\nPortuguese: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.\nEnglish:"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=False)
print(outputs[0]["generated_text"])
# <|im_start|>user
# Translate the following text from Portuguese into English.
# Portuguese: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.
# English:<|im_end|>
# <|im_start|>assistant
# A group of researchers has launched a new model for translation-related tasks.

✨ 主要特性

• 多語言支持：支持英語、葡萄牙語、西班牙語、法語、德語、荷蘭語、意大利語、韓語、中文和俄語。
• 任務多樣性：能夠處理多種翻譯相關任務，如通用機器翻譯、自動後編輯、機器翻譯評估、上下文感知翻譯、術語感知翻譯、多參考翻譯、命名實體識別、釋義生成等。
• 微調優化：在TowerBlocks監督微調數據集上進行微調，該數據集包含多種數據源，確保模型的泛化能力和性能。

📦 安裝指南

如果你使用的是transformers版本 <= v4.34，需要從源代碼安裝transformers：

pip install git+https://github.com/huggingface/transformers.git
pip install accelerate

📚 詳細文檔

模型詳情

模型描述

TowerInstruct-13B是在TowerBase模型的基礎上，在TowerBlocks監督微調數據集上進行微調得到的語言模型。TowerInstruct-13B-v0.1是該系列的第一個模型。 該模型經過訓練，能夠處理多種翻譯相關任務，如通用機器翻譯（例如句子和段落/文檔級翻譯、術語感知翻譯、上下文感知翻譯）、自動後編輯、命名實體識別、語法錯誤糾正和釋義生成。 我們將在即將發佈的技術報告中公佈更多細節。目前，你可以在此查看該模型的實驗結果。

預期用途和限制

該模型最初在經過過濾和預處理的監督微調數據集（TowerBlocks）上進行微調，該數據集包含多種數據源：

• 翻譯（句子和段落級）
• 自動後編輯
• 機器翻譯評估
• 上下文感知翻譯
• 術語感知翻譯
• 多參考翻譯
• 命名實體識別
• 釋義生成
• 合成聊天數據
• 代碼指令

你可以在此找到該數據集和所有數據源。

非預期用途

該模型不能保證對其支持的10種語言以外的語言有效。儘管我們在對話數據和代碼指令上訓練了該模型，但它並不打算用作對話聊天機器人或代碼助手。 我們目前正在努力提高文檔級翻譯的質量和一致性。該模型不適合用作文檔級翻譯工具。

偏差、風險和侷限性

TowerInstruct-v0.1尚未與人類偏好對齊，因此該模型可能會生成有問題的輸出（例如幻覺、有害內容或虛假陳述）。

提示格式

TowerInstruct-v0.1使用ChatML提示模板進行訓練，沒有任何系統提示。示例如下：

<|im_start|>user
{用戶提示}<|im_end|>
<|im_start|>assistant
{模型響應}<|im_end|>
<|im_start|>user
[...]

監督任務

所有監督任務的提示可以在TowerBlocks中找到。我們為每個任務使用了多個提示模板。雖然不同的提示可能會產生不同的輸出，但下游性能的差異應該非常小。

訓練詳情

訓練數據

TowerBlocks數據集的鏈接。

訓練超參數

訓練期間使用了以下超參數：

• 總訓練批次大小：256
• 學習率：7e-06
• 學習率調度器類型：餘弦
• 學習率調度器熱身步數：500
• 權重衰減：0.01
• 優化器：Adam，β=(0.9, 0.999)，ε=1e-08
• 訓練輪數：4
• 最大序列長度：2048

📄 許可證

該模型的許可證為CC-BY-NC-4.0，Llama 2根據LLAMA 2社區許可證獲得許可，版權所有 © Meta Platforms, Inc. 保留所有權利。