Medra GGUF

🚀 Medraモデル

このプロジェクトは、医療分野の自然言語処理タスクに特化したモデルです。テキスト生成、質問応答、要約などの様々なタスクに対応しており、複数の医療データセットでファインチューニングされています。

🚀 クイックスタート

このモデルは、transformersライブラリを使用しています。以下に基本的な情報を示します。

📚 ドキュメント

概要

https://huggingface.co/drwlf/Medra の静的量子化モデルです。 重み付き/imatrix量子化は、https://huggingface.co/mradermacher/Medra-i1-GGUF で利用可能です。

使用方法

GGUFファイルの使い方がわからない場合は、TheBlokeのREADME を参照してください。複数パートのファイルを結合する方法も含め、詳細な情報が記載されています。

提供される量子化モデル

（サイズでソートされており、必ずしも品質を表しているわけではありません。IQ量子化は、同程度のサイズの非IQ量子化よりも好まれることが多いです）

ikawrakowによるいくつかの低品質量子化タイプを比較した便利なグラフを以下に示します（数値が低いほど良い）。

また、Artefact2によるこの問題に関する考察はこちらです。 https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問 / モデルリクエスト

質問に対する回答や、他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

私の会社であるnethype GmbHに感謝します。彼らは私にサーバーを使用させ、ワークステーションをアップグレードしてくれたおかげで、私は余暇時間にこの作業を行うことができました。また、@nicobossにも感謝します。彼のプライベートスーパーコンピューターへのアクセスを許可してくれたおかげで、私は通常よりもはるかに高品質の多くのimatrix量子化モデルを提供することができました。

📄 ライセンス

このモデルは、apache - 2.0ライセンスの下で提供されています。