Roberta Base Biomedical Clinical Es

🚀 スペイン語向けの生物医学臨床言語モデル

このモデルは、スペイン語の生物医学臨床コーパスを使用して学習された言語モデルで、医療分野のタスクに役立ちます。

🚀 クイックスタート

このモデルは、マスク付き言語モデリングに使用でき、Fill Maskタスクを実行することができます。以下のセクションで使用方法を説明します。

✨ 主な機能

• スペイン語の生物医学臨床コーパスを使用して学習されたモデルです。
• マスク付き言語モデリングに使用でき、Fill Maskタスクを実行できます。
• 固有表現認識やテキスト分類などの下流タスクでの微調整が可能です。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("BSC-TeMU/roberta-base-biomedical-es")
model = AutoModelForMaskedLM.from_pretrained("BSC-TeMU/roberta-base-biomedical-es")
from transformers import pipeline
unmasker = pipeline('fill-mask', model="BSC-TeMU/roberta-base-biomedical-es")
unmasker("El único antecedente personal a reseñar era la <mask> arterial.")

出力結果

[
  {
    "sequence": " El único antecedente personal a reseñar era la hipertensión arterial.",
    "score": 0.9855039715766907,
    "token": 3529,
    "token_str": " hipertensión"
  },
  {
    "sequence": " El único antecedente personal a reseñar era la diabetes arterial.",
    "score": 0.0039140828885138035,
    "token": 1945,
    "token_str": " diabetes"
  },
  {
    "sequence": " El único antecedente personal a reseñar era la hipotensión arterial.",
    "score": 0.002484665485098958,
    "token": 11483,
    "token_str": " hipotensión"
  },
  {
    "sequence": " El único antecedente personal a reseñar era la Hipertensión arterial.",
    "score": 0.0023484621196985245,
    "token": 12238,
    "token_str": " Hipertensión"
  },
  {
    "sequence": " El único antecedente personal a reseñar era la presión arterial.",
    "score": 0.0008009297889657319,
    "token": 2267,
    "token_str": " presión"
  }
]

📚 ドキュメント

モデルの説明

このモデルは、スペイン語の生物医学臨床コーパスを使用して学習されたRoBERTaベースの言語モデルです。

意図された用途と制限

このモデルは、Fill Maskタスクを実行するためのマスク付き言語モデリングにのみ使用できます。ただし、固有表現認識やテキスト分類などの下流タスクでの微調整を意図しています。

制限とバイアス

提出時点では、モデルに埋め込まれたバイアスを推定するための措置は取られていません。ただし、コーパスが複数のウェブソースからクローリング技術を使用して収集されているため、モデルにバイアスが存在する可能性があることを十分に認識しています。将来的にこれらの分野で研究を行う予定であり、完了した場合はこのモデルカードを更新します。

学習

学習コーパスは、元のRoBERTaモデルで使用されているByte-Pair Encoding (BPE)のバイトバージョンを使用してトークン化されており、語彙サイズは52,000トークンです。事前学習は、RoBERTaベースモデルで採用されているアプローチに従って、サブワードレベルでのマスク付き言語モデル学習で構成されており、元の論文と同じハイパーパラメータが使用されています。学習は、16GB DDRAMの16台のNVIDIA V100 GPUを使用して合計48時間行われ、Adamオプティマイザを使用し、ピーク学習率は0.0005、有効バッチサイズは2,048文です。

学習コーパスは、公開されているコーパスやクローラーから収集されたいくつかのスペイン語の生物医学コーパスと、278,000を超える臨床文書やノートから収集された実世界の臨床コーパスで構成されています。臨床言語の特徴を保持しながら高品質な学習コーパスを取得するために、クリーニングパイプラインは生物医学コーパスにのみ適用され、臨床コーパスはクリーニングされていません。本質的に、使用されるクリーニング操作は以下の通りです。

• さまざまな形式のデータ解析
• 文分割
• 言語検出
• 不適切な文のフィルタリング
• 重複内容の削除
• 元の文書境界の保持

その後、生物医学コーパスが連結され、生物医学コーパス間でさらにグローバルな重複削除が適用されます。最終的に、臨床コーパスがクリーニングされた生物医学コーパスに連結され、10億を超えるトークンで構成される中規模のスペイン語の生物医学臨床コーパスが生成されます。以下の表は、個々のクリーニングされたコーパスの基本統計情報を示しています。

評価

このモデルは、以下のデータセットを使用して固有表現認識 (NER) で評価されています。

• PharmaCoNER: スペイン語の医学テキストからの化学物質と薬物の言及認識に関するトラックです (詳細は: https://temu.bsc.es/pharmaconer/ を参照)。
• CANTEMIST: スペイン語での腫瘍形態の固有表現認識に特化した共有タスクです (詳細は: https://zenodo.org/record/3978041#.YTt5qH2xXbQ を参照)。
• ICTUSnet: 18の異なるスペインの病院から脳卒中で入院した患者の1,006件の退院報告書で構成されています。51種類の異なる変数に対して79,000を超えるアノテーションが含まれています。

評価結果は、mBERT と BETO モデルと比較されています。

追加情報

著者

Barcelona Supercomputing CenterのText Mining Unit (TeMU) (bsc-temu@bsc.es)

連絡先情報

詳細情報については、plantl-gob-es@bsc.esにメールを送信してください。

著作権

スペインのデジタル化と人工知能に関する国家事務局 (SEDIA) による著作権 (2022)

ライセンス情報

Apache License, Version 2.0

資金提供

この研究は、スペインのデジタル化と人工知能に関する国家事務局 (SEDIA) がPlan-TLの枠組み内で資金提供しています。

引用情報

このモデルを使用する場合は、最新のプレプリントを引用してください。

@misc{carrino2021biomedical,
      title={Biomedical and Clinical Language Models for Spanish: On the Benefits of Domain-Specific Pretraining in a Mid-Resource Scenario}, 
      author={Casimiro Pio Carrino and Jordi Armengol-Estapé and Asier Gutiérrez-Fandiño and Joan Llop-Palao and Marc Pàmies and Aitor Gonzalez-Agirre and Marta Villegas},
      year={2021},
      eprint={2109.03570},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Medical Crawlerコーパスを使用する場合は、プレプリントを引用してください。

@misc{carrino2021spanish,
      title={Spanish Biomedical Crawled Corpus: A Large, Diverse Dataset for Spanish Biomedical Language Models}, 
      author={Casimiro Pio Carrino and Jordi Armengol-Estapé and Ona de Gibert Bonet and Asier Gutiérrez-Fandiño and Aitor Gonzalez-Agirre and Martin Krallinger and Marta Villegas},
      year={2021},
      eprint={2109.07765},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

免責事項