FastChat-T5-3b-v1.0オープンソースチャットボット - 自動回帰による会話応答生成を無料で実現

ホーム

Fastchat T5 3b V1.0

lmsysによって開発

FastChat-T5はFlan-t5-xlをファインチューニングしたオープンソースのチャットボットで、エンコーダー-デコーダーアーキテクチャを採用し、自己回帰的な対話応答生成をサポートします。

大規模言語モデル

Transformers

オープンソースライセンス:Apache-2.0 #オープンソース対話ボット #30億パラメータ大規模モデル #ShareGPTファインチューニング

ダウンロード数 1,177

リリース時間 : 4/27/2023

モデル概要

ShareGPTの対話データでファインチューニングされた30億パラメータのチャットモデルで、商業および学術シーンの対話生成タスクに適しています。

モデル特徴

効率的なファインチューニング

7万組のShareGPT対話データに基づきFlan-t5-xlを対象的にファインチューニング

双方向注意メカニズム

エンコーダーが対話履歴を双方向処理し、デコーダーがクロスアテンションで応答生成

商用フレンドリーなライセンス

Apache 2.0ライセンスを採用し、商業利用を許可

モデル能力

マルチターン対話生成

コンテキスト理解

オープンドメインQA

使用事例

商業応用

インテリジェントカスタマーサポート

オンラインカスタマーサポートシステムとして展開し、顧客問い合わせに自動応答

対話型AI製品

コアエンジンとして様々なチャットボットアプリケーションを開発

学術研究

対話システム研究

ベースラインモデルとして対話生成アルゴリズムの比較に使用

🚀 FastChat-T5モデルカード

FastChat-T5は、ShareGPTから収集されたユーザー共有の会話データを用いてFlan - t5 - xl（30億パラメータ）をファインチューニングすることで訓練されたオープンソースのチャットボットです。ユーザーの入力に対して応答を生成することができます。

🚀 クイックスタート

このセクションでは、FastChat-T5モデルの基本的な情報や使用方法の概要を説明します。

✨ 主な機能

エンコーダ・デコーダ型のトランスフォーマーアーキテクチャに基づいており、ユーザー入力に対する応答を自己回帰的に生成できます。
大規模言語モデルやチャットボットの商用利用や研究目的に使用できます。

📚 ドキュメント

モデルの詳細

属性	詳細
モデルタイプ	FastChat-T5は、ShareGPTから収集されたユーザー共有の会話データを用いてFlan - t5 - xl（30億パラメータ）をファインチューニングすることで訓練されたオープンソースのチャットボットです。エンコーダ・デコーダ型のトランスフォーマーアーキテクチャに基づいており、ユーザーの入力に対する応答を自己回帰的に生成することができます。
モデルの作成日	2023年4月に訓練されました。
モデルを開発した組織	FastChat開発者、主にDacheng Li、Lianmin Zheng、Hao Zhang。
詳細情報の論文またはリソース	https://github.com/lm-sys/FastChat#FastChat-T5
ライセンス	Apache License 2.0
モデルに関する質問やコメントの送信先	https://github.com/lm-sys/FastChat/issues

想定される用途

主な想定用途: FastChat-T5の主な用途は、大規模言語モデルやチャットボットの商用利用です。また、研究目的にも使用できます。

主な想定ユーザー: このモデルの主な想定ユーザーは、自然言語処理、機械学習、人工知能の分野の起業家や研究者です。

訓練データセット

ShareGPT.comから収集された70,000件の会話データ。

訓練の詳細

FastChat-T5は、質問応答形式でShareGPTデータを処理します。各ChatGPTの応答は回答として処理され、ユーザーとChatGPTの以前の会話は質問として処理されます。エンコーダは質問を双方向にエンコードして隠れ表現に変換します。デコーダは、開始トークンから一方向に回答を生成する際に、この表現に対してクロスアテンションを使用します。このモデルは3エポックでファインチューニングされ、最大学習率は2e - 5、ウォームアップ率は0.03、コサイン学習率スケジュールが使用されます。