Citrus1.0 Llama 70B

🚀 Citrus: 高度な医療決定支援のための医療言語モデルにおける専門家の認知経路の活用

Citrusは、医療専門家の認知プロセスを模倣することで、臨床的な専門知識とAIの推論能力を架橋する医療言語モデルです。このモデルは、臨床医の意思決定経路を正確に捉えた新しいアプローチを用いて合成された、大量の模擬専門家疾患推論データを使用してトレーニングされています。

📑論文 ｜🤗GitHubページ ｜🤗モデル ｜📚医療推論データ ｜ 📚評価データ

🚀 クイックスタート

このセクションでは、Citrusモデルの概要とその主なアプローチ、トレーニング段階について説明します。

1. 主なアプローチ

2. トレーニング段階とトレーニングデータパイプラインの概要

Citrusは、医療専門家の認知プロセスを模倣することで、臨床的な専門知識とAIの推論能力のギャップを埋める医療言語モデルです。このモデルは、sft-stage-3において、臨床医の意思決定経路を正確に捉えた新しいアプローチを用いて合成された、大量の模擬専門家疾患推論データでトレーニングされています。

この研究の貢献は以下の通りです。

1. 医療専門家の認知プロセスを模倣するトレーニング不要の推論アプローチを提案し、大規模言語モデルが臨床診断と治療における医療能力を向上させることを可能にします。
2. データ構築方法とともに、モデルの医療性能をさらに向上させるための多段階事後トレーニングアプローチを導入します。
3. Citrusモデルとそのトレーニングデータをオープンソースリソースとして公開し、AIによる医療意思決定の研究を推進します。
4. 実世界のデータに基づく大規模で更新可能な臨床実践評価データセットを開発し、オープンソース化しました。これにより、実世界の患者の分布を正確に反映することができます。

📄 ライセンス

1. 当モデルはLlama3.1-70Bをベースに構築されています。Llama 3.1はLlama 3.1 Community Licenseの下でライセンスされており、Copyright © Meta Platforms, Inc. All Rights Reservedです。
2. デフォルトのライセンスはMITですが、Llamaのライセンスと抵触しないことを条件とします。