Biomistral 7B AWQ QGS128 W4 GEMM

🚀 BioMistral：医療分野向けのオープンソース事前学習大規模言語モデルのコレクション

BioMistralは、医療分野に特化したオープンソースの大規模言語モデルです。Mistralを基礎モデルとし、PubMed Central上でさらに事前学習を行っています。このモデルは、医療分野の質問応答タスクで優れた性能を発揮し、既存のオープンソース医療モデルや独自のモデルと比較しても競争力があります。

🚀 クイックスタート

BioMistralを使うには、Hugging FaceのTransformersライブラリを使用できます。以下は、モデルとトークナイザーをロードするコード例です。

基本的な使用法

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

✨ 主な機能

• 医療分野特化：Mistralをベースに、PubMed Central上で事前学習された医療分野向けの大規模言語モデル。
• 多言語対応：英語以外の7つの言語での評価が行われ、多言語汎化能力を持つ。
• 軽量化モデル：量子化やモデルマージアプローチを用いた軽量化モデルが提供される。

📦 インストール

READMEに具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

📚 ドキュメント

概要

大規模言語モデル（LLM）は近年、医療や医学などの専門分野での応用が期待されています。しかし、汎用的なLLMを医療分野に適応させることは大きな課題です。BioMistralは、この問題を解決するために開発されたオープンソースのLLMです。

モデルの詳細

BioMistralモデル

量子化モデル

教師付き微調整ベンチマーク

BioMistral 7Bモデルの教師付き微調整（SFT）性能をベースラインと比較した結果です。精度（↑）で測定され、3ショットの3つのランダムシードで平均化されています。DARE、TIES、およびSLERPは、BioMistral 7BとMistral 7B Instructを結合するモデルマージ戦略です。最良のモデルは太字、2番目に良いモデルは下線で示されています。*GPT-3.5 Turboの性能は、SFTなしの3ショットの結果から報告されています。

🔧 技術詳細

READMEに具体的な技術詳細が記載されていないため、このセクションをスキップします。

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で公開されています。

引用

Arxiv : https://arxiv.org/abs/2402.10373

@misc{labrak2024biomistral,
      title={BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains}, 
      author={Yanis Labrak and Adrien Bazoge and Emmanuel Morin and Pierre-Antoine Gourraud and Mickael Rouvier and Richard Dufour},
      year={2024},
      eprint={2402.10373},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

⚠️ 重要提示

BioMistralは、高品質の証拠に基づく医療知識をカプセル化することを目的としていますが、専門的なパラメータ内でこの知識を効果的、安全、または適切に伝達するようには調整されていません。特定のユースケースに完全にアライメントされ、実世界の医療環境でのランダム化比較試験を含むさらなるテストを受けるまで、医療コンテキストでのBioMistralの使用は避けることをお勧めします。BioMistral 7Bには、まだ十分に評価されていない固有のリスクとバイアスが存在する可能性があります。また、このモデルの性能は実世界の臨床環境で評価されていません。したがって、BioMistral 7Bは厳密に研究ツールとしてのみ使用することをお勧めし、自然言語生成や専門的な健康医療目的のための本番環境での展開は避けるようにしてください。

💡 使用建议

このモデルは研究目的での使用を想定しています。医療現場での使用は避け、十分なテストとアライメントが行われるまでは、本番環境での展開は行わないでください。