Question Answering Model Finetuned On Bert

🚀 質問応答ボット

このプロジェクトは、SQuAD（スタンフォード質問応答データセット）でファインチューニングされた事前学習済みのBERTモデルを使用して、質問応答ボットを実装しています。このボットは、文脈と質問を入力として受け取り、対応する回答を返すことができます。また、Gradioインターフェースを備えており、ユーザーは使いやすいウェブアプリケーションを通じてモデルと対話できます。

🚀 クイックスタート

この質問応答ボットを実行するには、GradioやTransformersなどの必要なライブラリをインストールする必要があります。

✨ 主な機能

• 与えられた文脈に基づいて質問に回答することができます。
• ユーザーは文脈を手動で入力するか、テキストファイルをアップロードすることができます。
• Gradioインターフェースを通じて、モデルとの簡単な対話が可能です。また、文脈を記憶して後続の質問に使用したり、必要に応じてクリアすることもできます。

📦 インストール

この質問応答ボットを実行するには、GradioやTransformersなどの必要なライブラリをインストールする必要があります。

💻 使用例

基本的な使用法

Gradioアプリの実行

Gradioアプリのコードはgradio_app.pyファイルにあります。アプリを起動するには、以下のコマンドを実行します。

$ python gradio_app.py

Jupyter Notebookの使用

モデルのトレーニングやGradioアプリを含む完全なコードは、Jupyter NotebookのQuestionAnsweringBot.ipynbにあります。必要に応じてコードを探索および変更するために、Jupyterを使用して実行できます。

⚠️ 重要提示

このノートブックは、google colabで実行すると一部のインポートエラーが発生し、解決できなかったため、エラーなく実行するにはpaperspace.comで実行することをおすすめします。

📚 ドキュメント

モデル

このプロジェクトで使用されるモデルは、最先端のNLPモデルであるBERT（Bidirectional Encoder Representations from Transformers）に基づいています。具体的には、質問応答タスク用に最適化された"Graphcore/bert-large-uncased"バリアントを使用しています。

タスク

このボットの主なタスクは、与えられた文脈に基づいて質問に回答することです。ユーザーは、文脈を手動で入力するか、テキストファイルをアップロードすることができます。Gradioインターフェースを通じて、モデルとの簡単な対話が可能で、後続の質問で文脈を記憶したり、必要に応じてクリアするオプションもあります。

データセット

モデルは、Wikipedia記事に基づく質問と回答のコレクションであるSQuADデータセットを使用してファインチューニングされました。このデータセットは、モデルの質問応答能力を評価するための厳格なベンチマークを提供します。

🔧 技術詳細

このプロジェクトでは、最先端のNLPモデルであるBERTを使用し、SQuADデータセットでファインチューニングすることで、質問応答ボットを構築しています。また、Gradioを使用してユーザーフレンドリーなウェブアプリケーションを作成し、ユーザーが簡単にモデルと対話できるようにしています。

📄 結論

このプロジェクトは、深層学習を自然言語処理に実際に応用した例であり、対話型の質問応答ボットを構築することで、転移学習の威力を示し、ユーザーが複雑なモデルとやり取りするためのアクセスしやすい方法を提供しています。

主な課題

このプロジェクトで直面した主な課題は、IPUの実装でした。非常に複雑で、ノートパソコンやgoogle colabで実行することができませんでした。多くの助けをgoogleやChatGPTから得ながら、最終的に実装することができ、達成感を感じました。