Bsc Bio Ehr Es

🚀 用于西班牙语的生物医学临床语言模型

本项目是一个专为西班牙语设计的生物医学预训练语言模型，可用于掩码语言建模任务，也可在下游任务中进行微调，为生物医学领域的自然语言处理提供有力支持。

🚀 快速开始

本模型可直接用于掩码语言建模以执行填充掩码任务，你可以尝试推理API或参考后续章节。同时，它也可在诸如命名实体识别或文本分类等下游任务中进行微调。

✨ 主要特性

• 特定领域适配：专为西班牙语生物医学和临床领域设计，能更好地处理该领域的专业文本。
• 多任务支持：既可以直接用于填充掩码任务，也能在下游任务中进行微调。
• 性能优越：在多个命名实体识别任务中，与其他模型相比取得了更优的F1分数。

📦 安装指南

文档未提及具体安装步骤，暂无法提供。

💻 使用示例

文档未提供代码示例，暂无法展示。

📚 详细文档

模型描述

这是一个用于西班牙语的生物医学预训练语言模型。有关语料库、预训练和评估的更多详细信息，请查看官方 仓库。

预期用途和限制

该模型仅适用于掩码语言建模以执行填充掩码任务（你可以尝试推理API或阅读下一部分）。不过，它旨在在下游任务（如命名实体识别或文本分类）中进行微调。

局限性和偏差

在提交时，尚未采取措施来估计模型中嵌入的偏差。然而，我们深知由于语料库是通过在多个网络源上使用爬虫技术收集的，我们的模型可能存在偏差。我们打算在未来对这些领域进行研究，如果完成研究，此模型卡片将进行更新。

🔧 技术细节

分词和模型预训练

该模型是一个基于 RoBERTa 的模型，在从多个来源收集的西班牙语 生物医学临床 语料库上进行训练（见下一节）。训练语料库使用了原始 RoBERTa 模型中使用的字节版本的 字节对编码 (BPE) 进行分词，词汇量大小为52,000个标记。预训练包括在子词级别进行掩码语言模型训练，采用了与 RoBERTa 基础模型相同的方法和超参数。训练总共持续了48小时，使用了16个16GB DDRAM的NVIDIA V100 GPU，采用Adam优化器，峰值学习率为0.0005，有效批量大小为2,048个句子。

训练语料库和预处理

训练语料库由几个西班牙语生物医学语料库组成，这些语料库从公开可用的语料库和爬虫中收集，以及一个从超过278K个临床文档和笔记中收集的真实临床语料库。为了获得高质量的训练语料库，同时保留临床语言的特点，仅对生物医学语料库应用了清理流程，而临床语料库保持未清理状态。本质上，使用的清理操作包括：

• 不同格式的数据解析
  • 句子分割
  • 语言检测
  • 过滤格式错误的句子
  • 去重重复内容
  • 保留原始文档边界

然后，将生物医学语料库连接起来，并对生物医学语料库进行进一步的全局去重。最终，将临床语料库连接到清理后的生物医学语料库，形成一个由超过10亿个标记组成的中等规模的西班牙语生物医学临床语料库。下表显示了各个清理后语料库的一些基本统计信息：

评估

该模型在三个命名实体识别 (NER) 任务上进行了微调，使用了三个临床NER数据集：

• PharmaCoNER：是一个从西班牙语医学文本中识别化学和药物提及的任务（更多信息请见：https://temu.bsc.es/pharmaconer/）。
• CANTEMIST：是一个专门关注西班牙语肿瘤形态命名实体识别的共享任务（更多信息请见：https://zenodo.org/record/3978041#.YTt5qH2xXbQ）。
• ICTUSnet：由来自18家不同西班牙医院的1006份中风患者出院报告组成。它包含超过79,000个注释，涉及51种不同类型的变量。

我们将NER任务作为一个标记分类问题，使用标准线性层和BIO标记方案来解决。我们将我们的模型与通用领域的西班牙语 roberta-base-bne、支持西班牙语的通用领域多语言模型 mBERT、特定领域的英语模型 BioBERT 以及三个基于持续预训练的特定领域模型 mBERT-Galén、XLM-R-Galén 和 BETO-Galén 进行了比较。下表显示了获得的F1分数：

微调脚本可以在官方GitHub 仓库 中找到。

📄 许可证

本项目采用 Apache许可证2.0版。

作者

巴塞罗那超级计算中心的文本挖掘单元 (TeMU) (bsc-temu@bsc.es)

联系信息

如需更多信息，请发送电子邮件至 plantl-gob-es@bsc.es

版权

版权归西班牙数字化与人工智能国务秘书处 (SEDIA) 所有 (2022)

资金支持

这项工作由西班牙数字化与人工智能国务秘书处 (SEDIA) 在Plan - TL框架内资助。

引用信息

如果您使用这些模型，请引用我们的工作：

@inproceedings{carrino-etal-2022-pretrained,
    title = "Pretrained Biomedical Language Models for Clinical {NLP} in {S}panish",
    author = "Carrino, Casimiro Pio  and
      Llop, Joan  and
      P{\`a}mies, Marc  and
      Guti{\'e}rrez-Fandi{\~n}o, Asier  and
      Armengol-Estap{\'e}, Jordi  and
      Silveira-Ocampo, Joaqu{\'\i}n  and
      Valencia, Alfonso  and
      Gonzalez-Agirre, Aitor  and
      Villegas, Marta",
    booktitle = "Proceedings of the 21st Workshop on Biomedical Language Processing",
    month = may,
    year = "2022",
    address = "Dublin, Ireland",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2022.bionlp-1.19",
    doi = "10.18653/v1/2022.bionlp-1.19",
    pages = "193--199",
    abstract = "This work presents the first large-scale biomedical Spanish language models trained from scratch, using large biomedical corpora consisting of a total of 1.1B tokens and an EHR corpus of 95M tokens. We compared them against general-domain and other domain-specific models for Spanish on three clinical NER tasks. As main results, our models are superior across the NER tasks, rendering them more convenient for clinical NLP applications. Furthermore, our findings indicate that when enough data is available, pre-training from scratch is better than continual pre-training when tested on clinical tasks, raising an exciting research question about which approach is optimal. Our models and fine-tuning scripts are publicly available at HuggingFace and GitHub.",
}

免责声明

本仓库中发布的模型旨在用于通用目的，并可供第三方使用。这些模型可能存在偏差和/或其他不良扭曲。

当第三方使用这些模型（或基于这些模型的系统）部署或向其他方提供系统和/或服务，或成为这些模型的用户时，他们应注意，减轻使用这些模型所产生的风险并遵守适用法规（包括有关人工智能使用的法规）是他们的责任。

在任何情况下，模型的所有者（SEDIA - 西班牙数字化与人工智能国务秘书处）和创建者（BSC - 巴塞罗那超级计算中心）均不对第三方使用这些模型所产生的任何结果负责。