Llama Medx V3.2

## 🚀 Llama-medx_v3.2

*Llama-medx_v3.2は、医療分野向けに特化して微調整されたモデルで、医療用語や推論に効果的に対応します。*

## 🚀 クイックスタート
このモデルを使用するには、`transformers>=4.45.2` が必要です。

```python
import torch
import transformers

model_id = "skumar9/Llama-medx_v3.2"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

prompt = "Question: A 20-year-old man comes to the physician because of worsening gait unsteadiness and bilateral hearing loss for 1 month. He has had intermittent tingling sensations on both cheeks over this time period. He has no history of serious medical illness and takes no medications. Audiometry shows bilateral sensorineural hearing loss. Genetic evaluation shows a mutation of a tumor suppressor gene on chromosome 22 that encodes merlin. This patient is at increased risk for which of the following conditions?\nA. Renal cell carcinoma\nB. Meningioma\nC. Astrocytoma\nD. Vascular malformations\nAnswer:\n"
gen_kwargs = {
    "return_full_text": False,
    "max_new_tokens": 100,
}
print(pipeline(prompt, **gen_kwargs))

✨ 主な機能

Llama-medx_v3.2は医療分野に特化しており、医療用語や推論に効果的に対応できます。

🔧 技術詳細

トレーニングプロセス

Llama-medx_v3.2は、Meta-Llama-3.1-8B アーキテクチャをベースに構築されています。Supervised Fine-Tuning (SFT) と Odds Ratio Preference Optimization (ORPO) を使用して微調整されており、これによりモデルが医療用語や推論に効果的に対応し、学習効率を維持しています。また、ハイパーパラメータチューニング戦略が慎重に実施され、災害的忘却を防ぎ、様々なタスクで一貫したパフォーマンスを発揮します。ベンチマークモデルは、選択肢問題に対する回答のためにさらに微調整されています。

データ準備

公開されているデータセットや、Llamaベースモデルの知識と精度が十分でない場合の強化学習フィードバック用の強化データセットが使用されています。

以上の内容は、元のREADME文書を日本語に翻訳し、指定された美化規範に基づいて構成されています。必要に応じて内容を調整することができます。