Movie Roberta Squad

🚀 roberta-base + DAPT + 特定分野の質問応答

このプロジェクトは、映画コーパスでドメイン適応型事前学習を行った Roberta Base モデルに基づいており、その後モデルのヘッドを変更して SQuAD タスクを実行することで、映画分野の質問に答えることができる質問応答モデルを構築しています。基礎モデルとして MovieRoberta を使用しています。

🚀 クイックスタート

model_name = "thatdramebaazguy/movie-roberta-squad"
pipeline(model=model_name, tokenizer=model_name, revision="v1.0", task="question-answering")

✨ 主な機能

• データセット：imdb、cornell_movie_dialogue、SQuAD など、複数のデータセットを使用しています。
• 言語：英語に対応しています。
• タグ：roberta、roberta-base、question-answering、qa、movies などのタグが関連付けられています。
• ライセンス：cc-by-4.0 ライセンスを採用しています。

📚 ドキュメント

モデルの概要

ハイパーパラメータ

Num examples = 88567  
Num Epochs = 10
Instantaneous batch size per device = 32  
Total train batch size (w. parallel, distributed & accumulation) = 32  

性能評価

MoviesQA 評価

• 評価サンプル数 = 5032
• 完全一致率 = 51.64944
• F1 値 = 65.53983

SQuADv1 評価

• 完全一致率 = 81.23936
• F1 値 = 89.27827

コードリポジトリ

• ドメイン適応プロジェクト

📄 ライセンス

このプロジェクトは cc-by-4.0 ライセンスを採用しています。