Neobert GGUF

🚀 NeoBERT量化モデルプロジェクト

このプロジェクトは、chandar-lab/NeoBERTモデルの静的量子化バージョンを提供し、モデルの使用とデプロイにより多くの選択肢を与えます。同時に、プロジェクトでは使用方法の説明や提供される量子化バージョンの情報などが提供され、ユーザーの使用を容易にします。

🚀 クイックスタート

GGUFファイルの使用方法がわからない場合は、TheBlokeのREADMEを参照して、複数の部分ファイルを結合する方法など、詳細を確認してください。

✨ 主な機能

このプロジェクトはchandar-lab/NeoBERTモデルの静的量子化バージョンを提供し、一定程度でモデルの保存スペースと計算リソースの要求を削減できます。

📚 ドキュメント

概要

これはhttps://huggingface.co/chandar-lab/NeoBERT の静的量子化バージョンです。現在、重み/行列の量子化（weighted/imatrix quants）は利用できないようです。静的量子化バージョンがリリースされてから約1週間後もこれらが利用できない場合、私が関連する計画を立てていない可能性があります。これらの量子化バージョンをリクエストするには、コミュニティディスカッションを開くことができます。

提供される量子化バージョン

（サイズ順に並べられており、必ずしも品質順ではありません。IQ量子化は通常、同じサイズの非IQ量子化よりも好まれます）

ここに、ikawrakowによって提供された、いくつかの低品質量子化タイプを比較する便利なグラフがあります（値が低いほど良い）：

さらに、Artefact2によるこの問題に関する意見もあります：https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問/モデルリクエスト

https://huggingface.co/mradermacher/model_requests にアクセスすると、いくつかのよくある質問の回答を見ることができ、また他のモデルの量子化をリクエストすることもできます。

謝辞

私の会社nethype GmbHに感謝します。彼らは私にサーバーの使用を許可し、ワークステーションをアップグレードしてくれたおかげで、私は余暇時間にこの作業を完了することができました。

📄 ライセンス

このプロジェクトはMITライセンスを採用しています。