Biomedgpt LM 7B

🚀 BioMedGPT-LM-7B

BioMedGPT-LM-7B は、生物医学分野におけるLlama2ベースの最初の大規模生成型言語モデルです。 このモデルは、S2ORCコーパス から取得した数百万の生物医学論文を用いて、Llama2-7B-Chatをファインチューニングして作成されました。さらなるファインチューニングにより、BioMedGPT-LM-7Bは、いくつかの生物医学QAベンチマークにおいて、人間や大幅に大きな汎用基礎モデルを上回る、または同等の性能を発揮します。

🚀 クイックスタート

BioMedGPT-LM-7Bは、生物医学分野に特化した大規模生成型言語モデルです。以下に、このモデルの概要と使用方法を説明します。

✨ 主な機能

• Llama2ベースの生物医学分野向け大規模生成型言語モデル。
• 数百万の生物医学論文を用いてファインチューニングされている。
• いくつかの生物医学QAベンチマークで優れた性能を発揮する。

📚 ドキュメント

学習の詳細

このモデルは以下のハイパーパラメータで学習されました：

BioMedGPT-LM-7Bは、生物医学分野に非常に関連性の高い260億以上のトークンでファインチューニングされています。ファインチューニングデータは、S2ORCデータ内の数百万の生物医学論文から、PubMed Central (PMC)-IDとPubMed IDを基準に抽出されています。

モデル開発者

PharMolix

使い方

BioMedGPT-LM-7Bは、オープンソース版のBioMedGPTである BioMedGPT-10B の生成型言語モデルです。BioMedGPTは、生物医学用のオープンマルチモーダル生成型事前学習トランスフォーマー（GPT）であり、大規模生成型言語モデルを介して自然言語モダリティと様々な生物医学データモダリティを橋渡しします。

技術レポート

BioMedGPT-LM-7B、BioMedGPT-10B、およびBioMedGPTの詳細な技術情報は、技術レポート "BioMedGPT: Open Multimodal Generative Pre-trained Transformer for BioMedicine" で確認できます。

GitHub

https://github.com/PharMolix/OpenBioMed

制限事項

このリポジトリにはBioMedGPT-LM-7Bが含まれており、このモデルの責任ある倫理的な使用を強調します。BioMedGPT-LM-7Bは、一般公衆にサービスを提供するために使用してはなりません。法令に違反する内容、例えば国家権力の転覆を扇動する内容、国家安全や利益を危うくする内容、テロリズムや過激主義、民族的憎悪や差別、暴力、ポルノ、または虚偽の有害情報などを生成することは、厳禁です。BioMedGPT-LM-7Bは、ユーザーが提供または公開した内容、データ、または情報に起因する結果について一切の責任を負いません。

📄 ライセンス

このリポジトリはApache-2.0ライセンスの下で提供されています。BioMedGPT-LM-7Bモデルの使用には、Acceptable Use Policy が適用されます。