Bimedix Ara

🚀 BiMediX - 双语医疗大语言模型

BiMediX是一款双语医疗专家混合大语言模型（LLM），支持阿拉伯语，可用于英语和阿拉伯语的医疗交互，具备多项医疗问答和聊天能力。

🚀 快速开始

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "BiMediX/BiMediX-Ara"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = "مرحبًا بيميديكس! لقد كنت أعاني من التعب المتزايد في الأسبوع الماضي."
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=500)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

✨ 主要特性

• 双语支持：支持英语和阿拉伯语的医疗交互。
• 多种能力：具备多项选择问答（MCQA）、封闭式问答和聊天等能力。

📦 安装指南

文档未提及安装步骤，暂不提供。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "BiMediX/BiMediX-Ara"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = "مرحبًا بيميديكس! لقد كنت أعاني من التعب المتزايد في الأسبوع الماضي."
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=500)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📚 详细文档

模型详情

预期用途

• 主要用途：用于英语和阿拉伯语的医疗交互。
• 能力范围：多项选择问答（MCQA）、封闭式问答和聊天。

训练过程

• 数据集：BiMed1.3M - 阿拉伯语。
• QLoRA 适配：采用低秩适配技术，将可学习的低秩适配器权重融入专家和路由网络，仅训练约 4% 的原始参数。
• 训练资源：在阿拉伯语语料库上进行训练。

模型性能

安全与伦理考量

• 潜在问题：可能存在幻觉、毒性和刻板印象等问题。
• 使用限制：仅用于研究目的。

可访问性

• 获取途径：[BiMediX GitHub 仓库](https://github.com/mbzuai - oryx/BiMediX)。
• 论文链接：arxiv.org/abs/2402.13253

作者

Sara Pieri, Sahal Shaji Mullappilly, Fahad Shahbaz Khan, Rao Muhammad Anwer Salman Khan, Timothy Baldwin, Hisham Cholakkal
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)

📄 许可证

本模型采用 CC - BY - NC - SA 4.0 许可证。