Roberta Base Biomedical Es

🚀 スペイン語用のバイオメディカル言語モデル

このモデルは、スペイン語用のバイオメディカル事前学習言語モデルです。マスク付き言語モデルとして即座に使用でき、下流タスクにも微調整可能です。

🚀 クイックスタート

このモデルは、マスク付き言語モデリングのみですぐに使用でき、Fill Maskタスクを実行できます（推論APIを試すか、次のセクションを読んでください）。ただし、固有表現認識やテキスト分類などの下流タスクでの微調整を目的としています。

✨ 主な機能

• スペイン語用のバイオメディカル事前学習言語モデル。
• マスク付き言語モデリングでFill Maskタスクを実行可能。
• 下流タスクでの微調整が想定されています。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("BSC-TeMU/roberta-base-biomedical-es")
model = AutoModelForMaskedLM.from_pretrained("BSC-TeMU/roberta-base-biomedical-es")
from transformers import pipeline
unmasker = pipeline('fill-mask', model="BSC-TeMU/roberta-base-biomedical-es")
unmasker("El único antecedente personal a reseñar era la <mask> arterial.")

出力結果

[
  {
    "sequence": " El único antecedente personal a reseñar era la hipertensión arterial.",
    "score": 0.9855039715766907,
    "token": 3529,
    "token_str": " hipertensión"
  },
  {
    "sequence": " El único antecedente personal a reseñar era la diabetes arterial.",
    "score": 0.0039140828885138035,
    "token": 1945,
    "token_str": " diabetes"
  },
  {
    "sequence": " El único antecedente personal a reseñar era la hipotensión arterial.",
    "score": 0.002484665485098958,
    "token": 11483,
    "token_str": " hipotensión"
  },
  {
    "sequence": " El único antecedente personal a reseñar era la Hipertensión arterial.",
    "score": 0.0023484621196985245,
    "token": 12238,
    "token_str": " Hipertensión"
  },
  {
    "sequence": " El único antecedente personal a reseñar era la presión arterial.",
    "score": 0.0008009297889657319,
    "token": 2267,
    "token_str": " presión"
  }
]

🔧 技術詳細

トークン化とモデルの事前学習

このモデルは、複数のソースから収集されたスペイン語のバイオメディカルコーパスで学習されたRoBERTaベースのモデルです。

学習コーパスは、元のRoBERTAモデルで使用されているByte-Pair Encoding (BPE)のバイトバージョンを使用してトークン化されており、語彙サイズは52,000トークンです。事前学習は、RoBERTaベースモデルで採用されているアプローチに従って、サブワードレベルでのマスク付き言語モデル学習で行われ、元の論文と同じハイパーパラメータが使用されています。学習は、16GB DDRAMのNVIDIA V100 GPU 16台で合計48時間行われ、Adamオプティマイザを使用し、ピーク学習率は0.0005、有効バッチサイズは2,048文でした。

学習コーパスと前処理

学習コーパスは、公開されているコーパスやクローラーから収集された複数のスペイン語のバイオメディカルコーパスで構成されています。 高品質な学習コーパスを得るために、次の操作を含むクリーニングパイプラインが適用されています。

• さまざまな形式のデータ解析
  • 文分割
  • 言語検出
  • 不適切な文のフィルタリング
  • 繰り返し内容の重複排除
  • 元のドキュメント境界の保持

最後に、コーパスが連結され、コーパス間でさらにグローバルな重複排除が行われます。 結果として、約9億6300万トークンから構成される中規模のスペイン語用バイオメディカルコーパスが得られます。以下の表は、個々のクリーニングされたコーパスの基本統計情報を示しています。

📚 ドキュメント

評価

このモデルは、固有表現認識（NER）について、以下のデータセットを使用して評価されています。

• PharmaCoNER: スペイン語の医学テキストからの化学物質および薬物の言及認識に関するトラックです（詳細については、https://temu.bsc.es/pharmaconer/ を参照）。

• CANTEMIST: スペイン語での腫瘍形態の固有表現認識に特化した共有タスクです（詳細については、https://zenodo.org/record/3978041#.YTt5qH2xXbQ を参照）。

• ICTUSnet: 18の異なるスペインの病院からの脳卒中で入院した患者の1,006件の退院報告書で構成されています。51種類の異なる変数に対して79,000以上のアノテーションが含まれています。

評価結果は、mBERTおよびBETOモデルと比較されています。

追加情報

著者

Barcelona Supercomputing CenterのText Mining Unit (TeMU) (bsc-temu@bsc.es)

連絡先情報

詳細については、plantl-gob-es@bsc.esにメールを送信してください。

著作権

スペインのデジタル化と人工知能国家事務局 (SEDIA) による著作権 (2022)

ライセンス情報

Apache License, Version 2.0

資金提供

この研究は、スペインのデジタル化と人工知能国家事務局 (SEDIA) がPlan-TLの枠組み内で資金提供しています。

引用情報

モデルを使用する場合は、最新のプレプリントを引用してください。

@misc{carrino2021biomedical,
      title={Biomedical and Clinical Language Models for Spanish: On the Benefits of Domain-Specific Pretraining in a Mid-Resource Scenario}, 
      author={Casimiro Pio Carrino and Jordi Armengol-Estapé and Asier Gutiérrez-Fandiño and Joan Llop-Palao and Marc Pàmies and Aitor Gonzalez-Agirre and Marta Villegas},
      year={2021},
      eprint={2109.03570},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Medical Crawlerコーパスを使用する場合は、プレプリントを引用してください。

@misc{carrino2021spanish,
      title={Spanish Biomedical Crawled Corpus: A Large, Diverse Dataset for Spanish Biomedical Language Models}, 
      author={Casimiro Pio Carrino and Jordi Armengol-Estapé and Ona de Gibert Bonet and Asier Gutiérrez-Fandiño and Aitor Gonzalez-Agirre and Martin Krallinger and Marta Villegas},
      year={2021},
      eprint={2109.07765},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

免責事項

📄 ライセンス

Apache License, Version 2.0