Bimedix Ara

🚀 BiMediX - バイリンガル

このモデルは、英語とアラビア語の両方での医療対話に特化したバイリンガルの大規模言語モデルです。医療関連の質問応答やチャットに利用できます。

🚀 クイックスタート

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "BiMediX/BiMediX-Ara"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = "مرحبًا بيميديكس! لقد كنت أعاني من التعب المتزايد في الأسبوع الماضي."
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=500)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

✨ 主な機能

• 英語とアラビア語での医療対話に対応
• 医学的な多肢選択問題（MCQA）、クローズド質問応答、チャット機能を備える

📦 インストール

コード例に示すように、transformersライブラリを使用してモデルをロードできます。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "BiMediX/BiMediX-Ara"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

💻 使用例

基本的な使用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "BiMediX/BiMediX-Ara"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = "مرحبًا بيميديكس! لقد كنت أعاني من التعب المتزايد في الأسبوع الماضي."
inputs = tokenizer(text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=500)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📚 ドキュメント

モデル詳細

学習手順

• データセット: BiMed1.3M - Arabic
• QLoRA適応: 低ランク適応技術を実装し、エキスパートとルーティングネットワークに学習可能な低ランクアダプタの重みを組み込みます。これにより、元のパラメータの約4％を学習します。
• 学習リソース: モデルはアラビア語コーパスで学習されました。

モデルの性能

安全性と倫理的な考慮事項

• 潜在的な問題: 幻覚、毒性、ステレオタイプ
• 使用目的: 研究目的のみ

アクセシビリティ

• 利用可能な場所: BiMediX GitHub Repository
• arxiv.org/abs/2402.13253

著者

Sara Pieri, Sahal Shaji Mullappilly, Fahad Shahbaz Khan, Rao Muhammad Anwer Salman Khan, Timothy Baldwin, Hisham Cholakkal
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)

📄 ライセンス

CC - BY - NC - SA 4.0