Bimedix Ara

🚀 BiMediX - 雙語醫療大語言模型

BiMediX是一款雙語醫療專家混合大語言模型（LLM），支持阿拉伯語，可用於英語和阿拉伯語的醫療交互，具備多項醫療問答和聊天能力。

🚀 快速開始

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "BiMediX/BiMediX-Ara"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = "مرحبًا بيميديكس! لقد كنت أعاني من التعب المتزايد في الأسبوع الماضي."
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=500)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

✨ 主要特性

• 雙語支持：支持英語和阿拉伯語的醫療交互。
• 多種能力：具備多項選擇問答（MCQA）、封閉式問答和聊天等能力。

📦 安裝指南

文檔未提及安裝步驟，暫不提供。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "BiMediX/BiMediX-Ara"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = "مرحبًا بيميديكس! لقد كنت أعاني من التعب المتزايد في الأسبوع الماضي."
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=500)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📚 詳細文檔

模型詳情

預期用途

• 主要用途：用於英語和阿拉伯語的醫療交互。
• 能力範圍：多項選擇問答（MCQA）、封閉式問答和聊天。

訓練過程

• 數據集：BiMed1.3M - 阿拉伯語。
• QLoRA 適配：採用低秩適配技術，將可學習的低秩適配器權重融入專家和路由網絡，僅訓練約 4% 的原始參數。
• 訓練資源：在阿拉伯語語料庫上進行訓練。

模型性能

安全與倫理考量

• 潛在問題：可能存在幻覺、毒性和刻板印象等問題。
• 使用限制：僅用於研究目的。

可訪問性

• 獲取途徑：[BiMediX GitHub 倉庫](https://github.com/mbzuai - oryx/BiMediX)。
• 論文鏈接：arxiv.org/abs/2402.13253

作者

Sara Pieri, Sahal Shaji Mullappilly, Fahad Shahbaz Khan, Rao Muhammad Anwer Salman Khan, Timothy Baldwin, Hisham Cholakkal
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)

📄 許可證

本模型採用 CC - BY - NC - SA 4.0 許可證。