Distilbart Qgen 3 3

🚀 質問生成モデル

このモデルは、質問生成と要約タスクに最適化されており、SQuADデータセットを用いて微調整されています。

🚀 クイックスタート

このモデルのチェックポイントは、まずsshleifer/distilbart-cnn-6-6の要約チェックポイントをSQuADデータセットで微調整し、その後6-6の微調整モデルを3-3のモデルに蒸留することで得られます。トレーニングスクリプトのGitHubリンク

💻 使用例

基本的な使用法

入力形式は次の通りです: [answer] <s> [passage]。モデルはパッセージから回答に対応する質問を予測します。

📊 グラフ

📚 ドキュメント

質問生成の目的は、与えられたパッセージとターゲットの回答に基づいて、有効で流暢な質問を生成することです。したがって、モデルへの入力はパッセージの文脈と回答であり、出力/ターゲットは与えられた回答に対する質問になります。質問生成は、自動学習システム、質問応答モデルのパフォーマンス向上、チャットボットによる会話誘導など、多くのシナリオで使用できます。最終的なデータセットは、以下の質問応答データセットの和集合を取ることで作成されます。データセットは、コンテキスト、質問、回答の3つの列を持っている必要があります。

SQuAD

Stanford Question Answering Dataset (SQuAD) は読解データセットで、ウィキペディアの記事に対してクラウドワーカーが作成した質問から構成されています。すべての質問の回答は、対応する読解パッセージのテキストの一部、またはスパンであり、質問は回答不能である場合もあります。私たちは、回答不能な質問がないSQuAD 1.1バリアントを使用しています。したがって、すべての質問には対応する回答があり、逆もまた真です。

前処理

最初のステップは、回答のない質問を削除することです。その後、トレインセットをトレインセットと評価セットに分割し、開発セットをテストセットとして扱います。

統計情報

元のデータセット

前処理後

列の数字は、単語の最大数、平均、最小数を示しています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。