Biobert Large Cased V1.1 Squad

🚀 biobert-large-cased-v1.1-squad 模型卡片

biobert-large-cased-v1.1-squad 是一個用於問答任務的模型，由韓國大學的數據挖掘與信息系統實驗室（DMIS-lab）開發。該模型基於特定的訓練數據和流程，在問答領域具有一定的應用價值。

🚀 快速開始

使用以下代碼開始使用該模型：

from transformers import AutoTokenizer, AutoModelForQuestionAnswering

tokenizer = AutoTokenizer.from_pretrained("dmis-lab/biobert-large-cased-v1.1-squad")

model = AutoModelForQuestionAnswering.from_pretrained("dmis-lab/biobert-large-cased-v1.1-squad")

✨ 主要特性

• 問答功能：該模型可用於問答任務。

📚 詳細文檔

模型詳情

• 開發者：DMIS-lab（韓國大學數據挖掘與信息系統實驗室）
• 共享者：DMIS-lab（韓國大學數據挖掘與信息系統實驗室）
• 模型類型：問答
• 父模型：gpt-neo-2.7B
• 更多信息資源：
  • GitHub 倉庫
  • 相關論文

使用場景

直接使用

該模型可用於問答任務。

超出適用範圍的使用

該模型不應被用於故意為人們創造敵對或排斥性的環境。

偏差、風險和侷限性

大量研究已經探討了語言模型的偏差和公平性問題（例如，參見 Sheng 等人 (2021) 和 Bender 等人 (2021)）。該模型生成的預測可能包含針對受保護類別、身份特徵以及敏感、社會和職業群體的令人不安和有害的刻板印象。

建議

用戶（包括直接用戶和下游用戶）應該瞭解該模型的風險、偏差和侷限性。關於進一步的建議，還需要更多信息。

訓練詳情

訓練數據

模型創建者在 相關論文 中指出：

我們使用在英文維基百科和 BooksCorpus 上預訓練 100 萬步的 BERTBASE 模型。BioBERT v1.0（+ PubMed + PMC）是在 PubMed 和 PMC 語料庫上訓練 47 萬步的 BioBERT 版本。當同時使用 PubMed 和 PMC 語料庫時，我們發現 PubMed 和 PMC 分別進行 20 萬步和 27 萬步的預訓練是最優的。我們還使用了 BioBERT v1.0 的消融版本，它們分別在 PubMed 上預訓練 20 萬步（BioBERT v1.0（+ PubMed））和在 PMC 上預訓練 27 萬步（BioBERT v1.0（+ PMC））。

訓練過程

預處理

模型創建者在 相關論文 中指出：

我們使用 Naver Smart Machine Learning（NSML）（Sung 等人，2017）對 BioBERT 進行預訓練，該工具用於需要在多個 GPU 上運行的大規模實驗。

速度、規模、時間

模型創建者在 相關論文 中指出：

最大序列長度固定為 512，小批量大小設置為 192，每次迭代處理 98304 個單詞。

評估

測試數據、因素和指標

目前關於測試數據、因素和指標的信息均有待補充。

結果

目前關於評估結果的信息有待補充。

模型檢查

目前關於模型檢查的信息有待補充。

環境影響

可以使用 Lacoste 等人 (2019) 中提出的 機器學習影響計算器 來估算碳排放。

• 硬件類型：
  • 訓練：八塊 NVIDIA V100（32GB）GPU 用於訓練。
  • 微調：使用單塊 NVIDIA Titan Xp（12GB）GPU 在每個任務上對 BioBERT 進行微調。
• 目前關於使用時長、雲服務提供商、計算區域和碳排放的信息有待補充。

技術規格（可選）

目前關於模型架構和目標、計算基礎設施（包括硬件和軟件）的信息有待補充。

引用

BibTeX：

@misc{mesh-transformer-jax,
 @article{lee2019biobert,
  title={BioBERT: a pre-trained biomedical language representation model for biomedical text mining},
  author={Lee, Jinhyuk and Yoon, Wonjin and Kim, Sungdong and Kim, Donghyeon and Kim, Sunkyu and So, Chan Ho and Kang, Jaewoo},
  journal={arXiv preprint arXiv:1901.08746},
  year={2019}
}

更多信息（可選）

如果在使用 BioBERT 時遇到問題或需要幫助，請提交 GitHub 問題。如需與 BioBERT 相關的溝通，請聯繫 Jinhyuk Lee（lee.jnhk (at) gmail.com）或 Wonjin Yoon（wonjin.info (at) gmail.com）。

模型卡片作者（可選）

DMIS-lab（韓國大學數據挖掘與信息系統實驗室）與 Ezi Ozoani 和 Hugging Face 團隊合作完成。

模型卡片聯繫方式

目前關於模型卡片聯繫方式的信息有待補充。