Vicuna-13b-1.1オープンソースチャットボット - 学術研究の対話シーンに無料で利用可能

Vicuna 13b 1.1

eachadeaによって開発

VicunaはLLaMAをベースに微調整されたオープンソースのチャットボットで、ユーザーが共有した対話データを使って訓練され、学術研究に適しています。

ダウンロード数 181

リリース時間 : 4/13/2023

モデル概要

Vicunaはオープンソースの大規模言語モデルで、主にチャットボット関連の研究に使用され、Transformerアーキテクチャに基づき、ShareGPTの対話データを使って微調整訓練されています。

最適化された区切り文字設計

v1.1バージョンでは区切り文字を'###'からEOSタグ'</s>'に変更し、生成停止基準の判定とライブラリの互換性を向上させました。

損失計算の最適化

教師あり微調整の損失計算の問題を修正し、モデルの生成品質を向上させました。

オープンソースでアクセス可能

Apache - 2.0ライセンスを採用し、学術研究と二次開発をサポートします。

多輪対話生成

オープンドメイン質問応答

テキスト理解と生成

学術研究

対話システム研究

オープンドメイン対話システムの性能と能力を研究するために使用されます。

80問のテストセットでGPT - 4評価による90%の品質スコアを獲得しました。

教育アプリケーション

スマート質問応答アシスタント

教育分野の質問応答の参考ツールとして使用できます。

Vicunaは、ShareGPTから収集したユーザー共有の会話データを使ってLLaMAをファインチューニングすることで学習されたオープンソースのチャットボットです。大規模言語モデルやチャットボットに関する研究に役立ちます。

属性	详情
モデルタイプ	Vicunaは、ShareGPTから収集したユーザー共有の会話データを使ってLLaMAをファインチューニングすることで学習されたオープンソースのチャットボットです。Transformerアーキテクチャに基づく自己回帰型の言語モデルです。
モデル作成日	Vicunaは2023年3月から4月の間に学習されました。
モデル開発組織	カリフォルニア大学バークレー校、カーネギーメロン大学、スタンフォード大学、カリフォルニア大学サンディエゴ校のメンバーからなるVicunaチーム。
詳細情報の論文またはリソース	https://vicuna.lmsys.org/
ライセンス	Apache License 2.0
モデルに関する質問やコメントの送信先	https://github.com/lm-sys/FastChat/issues

ShareGPT.comから収集した70,000件の会話データ。

モデル品質の予備評価は、80の多様な質問セットを作成し、GPT - 4を利用してモデルの出力を評価することで行われます。詳細はhttps://vicuna.lmsys.org/を参照してください。

トークン化と区切り文字をリファクタリングしました。Vicuna v1.1では、区切り文字が"###"からEOSトークン"</s>"に変更されました。この変更により、生成の停止条件をより簡単に判断できるようになり、他のライブラリとの互換性も向上します。
モデル品質を向上させるために、教師ありファインチューニングの損失計算を修正しました。