Bonito V1 Awq

🚀 Bonito-v1 AWQ

Bonito-v1 AWQ 是一個用於條件任務生成的開源模型，可將無註釋文本轉換為特定任務的訓練數據集，用於指令微調，幫助在用戶的專業私有數據上適配大語言模型。

🚀 快速開始

你可以在 BatsResearch/bonito-v1 找到原始模型。

✨ 主要特性

模型變體

• GEMM：model.safetensors
• GEMV：model_gemv.safetensors

模型概述

Bonito 是一個用於條件任務生成的開源模型，即把無註釋文本轉換為用於指令微調的特定任務訓練數據集的任務。

模型詳情

模型描述

Bonito 可用於創建合成指令微調數據集，以在用戶的專業私有數據上適配大語言模型。在我們的 論文 中，我們展示了 Bonito 可用於在無任何註釋的情況下，將預訓練模型和指令微調模型適配到特定任務。

• 開發人員：Nihal V. Nayak、Yiyang Nan、Avi Trost 和 Stephen H. Bach
• 模型類型：MistralForCausalLM
• 語言（NLP）：英語
• 許可證：待確定
• 微調基礎模型：mistralai/Mistral-7B-v0.1

模型來源

• 倉庫：https://github.com/BatsResearch/bonito
• 論文：Arxiv 鏈接

💻 使用示例

基礎用法

為了輕鬆生成合成指令微調數據集，我們建議使用基於 transformers 和 vllm 庫構建的 bonito 包。

from bonito import Bonito, SamplingParams
from datasets import load_dataset

# Initialize the Bonito model
bonito = Bonito()

# load dataaset with unannotated text
unannotated_text = load_dataset(
    "BatsResearch/bonito-experiment",
    "unannotated_contract_nli"
)["train"].select(range(10))

# Generate synthetic instruction tuning dataset
sampling_params = SamplingParams(max_tokens=256, top_p=0.95, temperature=0.5, n=1)
synthetic_dataset = bonito.generate_tasks(
    unannotated_text,
    context_col="input",
    task_type="nli",
    sampling_params=sampling_params
)

適用範圍

直接使用

此部分適用於模型在不進行微調或集成到更大的生態系統/應用中的使用。

超出適用範圍的使用

我們的模型經過訓練，可生成以下任務類型：摘要生成、情感分析、多項選擇題回答、抽取式問答、主題分類、自然語言推理、問題生成、文本生成、無選項問答、釋義識別、句子完成、是非問答、詞義消歧、釋義生成、文本蘊含和共指消解。模型可能無法準確生成超出這些任務類型的合成任務。

📄 許可證

本模型使用的許可證為 apache - 2.0。