Bonito V1 Awq

🚀 Bonito-v1 AWQ

Bonito-v1 AWQは、条件付きタスク生成のためのオープンソースモデルです。このモデルは、注釈のないテキストを命令微調整用のタスク固有のトレーニングデータセットに変換するタスクを行います。

🚀 クイックスタート

元のモデルはBatsResearch/bonito-v1で見つけることができます。

✨ 主な機能

バリエーション

• GEMM: model.safetensors
• GEMV: model_gemv.safetensors

📚 ドキュメント

モデルの詳細

モデルの説明

Bonitoは、大規模言語モデルをユーザーの特殊なプライベートデータに適応させるための合成命令微調整データセットを作成するために使用できます。論文では、Bonitoを使用して、注釈のないタスクに対して事前学習済みモデルと命令微調整済みモデルの両方を適応させることができることを示しています。

• 開発者: Nihal V. Nayak, Yiyang Nan, Avi Trost, and Stephen H. Bach
• モデルの種類: MistralForCausalLM
• 言語 (NLP): 英語
• ライセンス: TBD
• 微調整元のモデル: mistralai/Mistral-7B-v0.1

モデルのソース

• リポジトリ: https://github.com/BatsResearch/bonito
• 論文: Arxivリンク

用途

直接利用

合成命令微調整データセットを簡単に生成するには、transformersとvllmライブラリを使用して構築されたbonitoパッケージを使用することをお勧めします。

from bonito import Bonito, SamplingParams
from datasets import load_dataset

# Initialize the Bonito model
bonito = Bonito()

# load dataaset with unannotated text
unannotated_text = load_dataset(
    "BatsResearch/bonito-experiment",
    "unannotated_contract_nli"
)["train"].select(range(10))

# Generate synthetic instruction tuning dataset
sampling_params = SamplingParams(max_tokens=256, top_p=0.95, temperature=0.5, n=1)
synthetic_dataset = bonito.generate_tasks(
    unannotated_text,
    context_col="input",
    task_type="nli",
    sampling_params=sampling_params
)

想定外の用途

このモデルは、要約、感情分析、選択肢付き質問応答、抽出型質問応答、トピック分類、自然言語推論、質問生成、テキスト生成、選択肢なし質問応答、言い換え識別、文章完成、yes-no質問応答、単語の意味曖昧性解消、言い換え生成、テキスト的含意、および照応解消などのタスクタイプを生成するようにトレーニングされています。これらのタスクタイプ以外の合成タスクでは、正確な結果が得られない可能性があります。

📄 ライセンス

このモデルのライセンスはapache-2.0です。