Distilroberta Base Squad V2

🚀 distilroberta-base-squad_v2

このモデルは、squad_v2データセットでdistilroberta-baseをファインチューニングしたバージョンです。このモデルは、抽出型の質問応答タスクに特化しており、質問と文脈の不一致ペアにも対応できます。

🚀 クイックスタート

このモデルは、抽出型の質問応答タスクであるSQuAD2.0データセットでファインチューニングされています。利便性のため、このモデルはPyTorch、Tensorflow、ONNXのフレームワークで使用できるように準備されています。

✨ 主な機能

• このモデルは、質問と文脈の不一致ペアを処理できます。QuestionAnsweringPipelineを使用する際には、handle_impossible_answer=Trueを指定してください。
• このモデルは、PyTorch、Tensorflow、ONNXのフレームワークで使用できます。

📦 インストール

このモデルを使用するには、transformersライブラリをインストールする必要があります。以下のコマンドを使用してインストールできます。

pip install transformers

💻 使用例

基本的な使用法

>>> from transformers import AutoModelForQuestionAnswering, AutoTokenizer, QuestionAnsweringPipeline
>>> model = AutoModelForQuestionAnswering.from_pretrained("squirro/distilroberta-base-squad_v2")
>>> tokenizer = AutoTokenizer.from_pretrained("squirro/distilroberta-base-squad_v2")
>>> qa_model = QuestionAnsweringPipeline(model, tokenizer)
>>> qa_model(
>>>    question="What's your name?",
>>>    context="My name is Clara and I live in Berkeley.",
>>>    handle_impossible_answer=True  # important!
>>> )
{'score': 0.9498472809791565, 'start': 11, 'end': 16, 'answer': 'Clara'}

📚 ドキュメント

モデルの説明

このモデルは、抽出型の質問応答タスクであるSQuAD2.0データセットでファインチューニングされています。利便性のため、このモデルはPyTorch、Tensorflow、ONNXのフレームワークで使用できるように準備されています。

想定される用途と制限

このモデルは、質問と文脈の不一致ペアを処理できます。QuestionAnsweringPipelineを使用する際には、handle_impossible_answer=Trueを指定してください。

学習と評価データ

学習と評価は、SQuAD2.0データセットで行われました。

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 5e-05
• train_batch_size: 64
• eval_batch_size: 8
• seed: 42
• distributed_type: tpu
• num_devices: 8
• total_train_batch_size: 512
• total_eval_batch_size: 64
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 3.0

学習結果

フレームワークのバージョン

• Transformers 4.17.0.dev0
• Pytorch 1.9.0+cu111
• Datasets 1.18.3
• Tokenizers 0.11.6

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

会社について

Squirroは、あらゆるソースからのデータをあなたの意図や状況と組み合わせ、必要なときに適切な意思決定を支援します。

Squirroは、金融サービス、公共部門、専門サービス、製造業などの分野で、世界的な組織と協力しています。顧客には、イングランド銀行、欧州中央銀行（ECB）、ドイツ連邦銀行、スタンダード・チャータード銀行、ヘンケル、アルマセル、キャンドリアムなど、多くの世界をリードする企業が含まれています。

2012年に設立されたSquirroは、現在、チューリッヒ、ロンドン、ニューヨーク、シンガポールに拠点を持っています。AIによるビジネスインサイトに関する詳細情報は、http://squirro.com で確認できます。

ソーシャルメディアプロフィール

• Redefining AI Podcast (Spotify): https://open.spotify.com/show/6NPLcv9EyaD2DcNT8v89Kb
• Redefining AI Podcast (Apple Podcasts): https://podcasts.apple.com/us/podcast/redefining-ai/id1613934397
• Squirro LinkedIn: https://www.linkedin.com/company/squirroag
• Squirro Academy LinkedIn: https://www.linkedin.com/showcase/the-squirro-academy
• Twitter: https://twitter.com/Squirro
• Facebook: https://www.facebook.com/squirro
• Instagram: https://www.instagram.com/squirro/