Biobert Large Cased V1.1 Squad

🚀 biobert-large-cased-v1.1-squad

このモデルは質問応答タスクに使用できる、バイオメディカル分野向けの事前学習済み言語表現モデルです。

🚀 クイックスタート

以下のコードを使用して、モデルを使用を開始できます。

from transformers import AutoTokenizer, AutoModelForQuestionAnswering

tokenizer = AutoTokenizer.from_pretrained("dmis-lab/biobert-large-cased-v1.1-squad")

model = AutoModelForQuestionAnswering.from_pretrained("dmis-lab/biobert-large-cased-v1.1-squad")

✨ 主な機能

このモデルは質問応答タスクに使用できます。

📚 ドキュメント

モデルの詳細

• 開発者: DMIS-lab (Data Mining and Information Systems Lab, Korea University)
• 共有者 [任意]: DMIS-lab (Data Mining and Information Systems Lab, Korea University)
• モデルの種類: 質問応答
• 親モデル: gpt-neo-2.7B
• 詳細情報のリソース:
  • GitHubリポジトリ
  • 関連論文

使用方法

直接使用

このモデルは質問応答タスクに使用できます。

スコープ外の使用

このモデルは、人々に敵対的または疎外感を与える環境を意図的に作り出すために使用してはいけません。

バイアス、リスク、および制限

言語モデルのバイアスと公平性の問題については、多くの研究が行われています（例えば、Sheng et al. (2021) および Bender et al. (2021) を参照）。このモデルによって生成された予測には、保護されたクラス、アイデンティティの特性、および敏感な社会的および職業的グループにまたがる不快で有害なステレオタイプが含まれる可能性があります。

推奨事項

ユーザー（直接ユーザーと下流ユーザーの両方）は、このモデルのリスク、バイアス、および制限を認識する必要があります。さらなる推奨事項については、詳細情報が必要です。

トレーニングの詳細

トレーニングデータ

モデルの作成者は、関連論文 で以下のように述べています。

私たちは、英語のWikipediaとBooksCorpusで100万ステップの事前学習を行ったBERTBASEモデルを使用しました。BioBERT v1.0 (þ PubMed þ PMC) は、47万ステップで学習されたBioBERT (þ PubMed þ PMC) のバージョンです。PubMedとPMCの両方のコーパスを使用する場合、それぞれ20万ステップと27万ステップの事前学習が最適であることがわかりました。また、BioBERT v1.0の削除バージョンも使用しました。これは、PubMedのみで20万ステップ（BioBERT v1.0 (þ PubMed)）、PMCで27万ステップ（BioBERT v1.0 (þ PMC)）の事前学習を行ったものです。

トレーニング手順

前処理

モデルの作成者は、関連論文 で以下のように述べています。

私たちは、大規模な実験を複数のGPUで実行するために利用されるNaver Smart Machine Learning (NSML) (Sung et al., 2017) を使用して、BioBERTを事前学習しました。

速度、サイズ、時間

モデルの作成者は、関連論文 で以下のように述べています。

最大シーケンス長は512に固定され、ミニバッチサイズは192に設定され、1反復あたり98,304語となりました。

評価

テストデータ、要因、および指標

テストデータ

詳細情報が必要です。

要因

詳細情報が必要です。

指標

詳細情報が必要です。

結果

詳細情報が必要です。

モデルの検査

詳細情報が必要です。

環境への影響

炭素排出量は、Lacoste et al. (2019) で提示された Machine Learning Impact calculator を使用して推定できます。

• ハードウェアタイプ: 詳細情報が必要です。
  • トレーニング: トレーニングには8台のNVIDIA V100 (32GB) GPUを使用しました。
  • ファインチューニング: 各タスクでBioBERTをファインチューニングするために、単一のNVIDIA Titan Xp (12GB) GPUを使用しました。
• 使用時間: 詳細情報が必要です。
• クラウドプロバイダー: 詳細情報が必要です。
• コンピュートリージョン: 詳細情報が必要です。
• 排出された炭素量: 詳細情報が必要です。

引用

BibTeX:

@misc{mesh-transformer-jax,
 @article{lee2019biobert,
  title={BioBERT: a pre-trained biomedical language representation model for biomedical text mining},
  author={Lee, Jinhyuk and Yoon, Wonjin and Kim, Sungdong and Kim, Donghyeon and Kim, Sunkyu and So, Chan Ho and Kang, Jaewoo},
  journal={arXiv preprint arXiv:1901.08746},
  year={2019}
}

その他の情報

BioBERTの使用に関するヘルプまたは問題がある場合は、GitHubのissueを提出してください。BioBERTに関するコミュニケーションについては、Jinhyuk Lee (lee.jnhk (at) gmail.com) またはWonjin Yoon (wonjin.info (at) gmail.com) に連絡してください。

モデルカードの作成者

DMIS-lab (Data Mining and Information Systems Lab, Korea University) は、Ezi OzoaniおよびHugging Faceチームと共同で作成しました。