Roberta Base Fiqa Flm Sq Flit

🚀 roberta-base-fiqa-flm-sq-flit

このモデルは、金融ドメインの質問応答用に作成されたカスタムデータセットでroberta-baseをファインチューニングしたバージョンです。

✨ 主な機能

このモデルは、金融ドメインの質問応答システムに使用されることを目的としています。

📚 ドキュメント

モデルの説明

RoBERTaは、自己教師付き学習によって大量の英語データコーパスで事前学習されたトランスフォーマーモデルです。このモデルは、特定の下流の質問応答タスクのために以下のようにさらに処理されています。

1. FIQAチャレンジの意見ベースの質問応答タスクでマスク言語モデリング（MLM）の目的でドメイン適応のために事前学習されまし。このタスクはこちらで利用可能です - https://drive.google.com/file/d/1BlWaV - qVPfpGyJoWQJU9bXQgWCATgxEP/view
2. 銀行と金融のためのカスタム生成データセットでMLMの目的で事前学習されまし。
3. 質問応答タスクの適応のためにSQuAD V2データセットでファインチューニングされまし。
4. ドメインとタスクの適応のためにSQuAD形式のカスタムラベル付きデータセットでファインチューニングされまし。

想定される用途と制限

このモデルは、銀行、金融サービス、保険（BFSI）ドメインのカスタム質問応答システムに使用することを目的としています。

学習と評価データ

詳細情報が必要です。

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• learning_rate: 2e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam（betas=(0.9,0.999)、epsilon=1e-08）
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.2
• num_epochs: 2.0

学習結果

未記載

フレームワークのバージョン

• Transformers 4.15.0.dev0
• Pytorch 1.10.0+cu111
• Datasets 1.16.1
• Tokenizers 0.10.3