Biomistral 7B GGUF

🚀 BioMistral: 医療分野向けのオープンソース事前学習大型言語モデルのコレクション

BioMistralは、医療分野に特化したオープンソースの大型言語モデルです。MistralをベースにPubMed Centralで事前学習され、既存のオープンソース医療モデルを上回る性能を発揮します。また、多言語評価も行っており、医療分野における言語の壁を越える取り組みをしています。

🚀 クイックスタート

モデルとトークナイザーのロード

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("BioMistral/BioMistral-7B")
model = AutoModel.from_pretrained("BioMistral/BioMistral-7B")

✨ 主な機能

• 医療分野特化：MistralをベースにPubMed Centralで事前学習された医療分野向けの大型言語モデル。
• 多言語対応：英語以外の7言語での評価を行い、医療分野における多言語汎化能力を検証。
• 高性能：既存のオープンソース医療モデルを上回る性能を発揮し、独自のモデルマージ戦略によりさらなる性能向上。

📚 ドキュメント

概要

近年、大規模言語モデル（LLM）は、医療や医学などの専門分野での潜在的な応用を提供し、驚くほどの汎用性を示しています。一般的なLLMを医療分野に適応させることは、多くのオープンソースの医療用LLMが存在するにもかかわらず、大きな課題を呈します。

本論文では、Mistralをベースモデルとし、PubMed Centralでさらに事前学習された、生物医学分野に特化したオープンソースのLLMであるBioMistralを紹介します。BioMistralを、英語での10の確立された医療質問応答（QA）タスクからなるベンチマークで総合的に評価します。また、量子化とモデルマージアプローチによって得られた軽量モデルも探索します。結果は、BioMistralが既存のオープンソース医療モデルに比べて優れた性能を示し、独自のモデルに対しても競争力があることを示しています。

最後に、英語以外のデータの制限と医療LLMの多言語汎化能力を評価するために、このベンチマークを他の7言語に自動翻訳して評価します。これは、医療分野におけるLLMの最初の大規模な多言語評価となります。データセット、多言語評価ベンチマーク、スクリプト、および実験中に得られたすべてのモデルは無料で公開されています。

注意事項

BioMistralは、高品質なエビデンスに基づく医療知識を含むように設計されていますが、専門的な医療行動のためにこの知識を効果的、安全、または適切に伝達するようには調整されていません。BioMistralを医療現場で使用する場合は、特定のユースケースに完全に適合し、実世界の医療環境でのランダム化比較試験を含むさらなるテストを受けるまで、使用を控えることをお勧めします。BioMistral 7Bには、まだ十分に評価されていない固有のリスクとバイアスが存在する可能性があります。また、このモデルの性能は、実世界の臨床環境で評価されていません。したがって、BioMistral 7Bは研究ツールとしてのみ使用することを強く推奨し、自然言語生成や専門的な健康医療目的での本番環境への展開は避けることをお勧めします。

BioMistralモデル

量子化モデル

教師付き微調整ベンチマーク

BioMistral 7Bモデルの教師付き微調整（SFT）性能をベースラインと比較し、精度（↑）で測定し、3ショットの3つのランダムシードで平均化しました。DARE、TIES、およびSLERPは、BioMistral 7BとMistral 7B Instructを結合するモデルマージ戦略です。最良のモデルは太字、2番目に良いモデルは下線付きで表示されています。*GPT-3.5 Turboの性能は、SFTなしの3ショットの結果から報告されています。

引用BibTeX

Arxiv : https://arxiv.org/abs/2402.10373

@misc{labrak2024biomistral,
      title={BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains}, 
      author={Yanis Labrak and Adrien Bazoge and Emmanuel Morin and Pierre-Antoine Gourraud and Mickael Rouvier and Richard Dufour},
      year={2024},
      eprint={2402.10373},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

注意事項

直接的および下流のユーザーは、モデルに固有のリスク、バイアス、および制約について通知を受ける必要があります。このモデルは自然言語テキストを生成できますが、その機能と制限についての調査はまだ始まったばかりです。医学などの分野では、これらの制限を理解することが重要です。したがって、本番環境での自然言語生成や専門的な健康医療タスクでこのモデルを展開することは強くお勧めしません。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。