Clinician Note 2.0a I1 GGUF

🚀 Clinician-Note-2.0a の量子化モデル

このプロジェクトは、臨床ノート生成に特化した Clinician-Note-2.0a モデルの量子化バージョンを提供します。量子化により、モデルのメモリ使用量を削減し、推論速度を向上させることができます。

🚀 クイックスタート

この量子化モデルを使用するには、まずGGUFファイルの使い方を理解する必要があります。詳細については、TheBlokeのREADME を参照してください。

✨ 主な機能

• テキスト生成：臨床ノートの自動生成が可能です。
• 要約：長文の臨床ノートを要約することができます。
• 医療分野対応：医療関連のテキスト処理に特化しています。

📦 インストール

このモデルは、Hugging Face Hub から直接ダウンロードすることができます。具体的なインストール手順は、使用する環境によって異なります。

📚 ドキュメント

概要

このモデルは、ClinicianFOCUS/Clinician-Note-2.0a の量子化バージョンです。量子化により、モデルのメモリ使用量を削減し、推論速度を向上させることができます。

静的量子化モデルは、こちら から入手できます。

使用方法

GGUFファイルの使い方がわからない場合は、TheBlokeのREADME を参照してください。このドキュメントには、GGUFファイルの使い方や、複数のパートに分割されたファイルの結合方法が記載されています。

提供される量子化モデル

以下は、提供される量子化モデルの一覧です。サイズ順に並んでいますが、必ずしも品質の順ではありません。IQ量子化モデルは、同じサイズの非IQ量子化モデルよりも優れていることが多いです。

以下は、ikawrakowによる低品質量子化タイプの比較グラフです（値が低いほど良い）。

また、Artefact2によるこの問題に関する考察は、こちら で確認できます。

FAQ / モデルリクエスト

よくある質問への回答や、他のモデルの量子化リクエストについては、こちら を参照してください。

📄 ライセンス

このモデルは、AGPL-3.0ライセンスの下で提供されています。

謝辞

この作業を可能にするために、私の会社である nethype GmbH にサーバーの使用を許可していただき、ワークステーションのアップグレードを提供していただいたことに感謝します。また、@nicoboss には、彼のプライベートスーパーコンピューターへのアクセスを許可していただき、通常よりも高品質の多くのimatrix量子化を提供することができたことに感謝します。