NuNER-BERT-v1.0-GGUFオープンソースモデル - 無料デプロイでトークン分類とエンティティ認識を支援

ホーム

Nuner BERT V1.0 GGUF

mradermacherによって開発

NuNER-BERT-v1.0の静的量子化バージョンで、トークン分類やエンティティ認識などのタスクに適しています。

シーケンスラベリング

Transformers

英語オープンソースライセンス:MIT #エンティティ認識の量子化 #英語のNER #BERTの軽量化

ダウンロード数 125

リリース時間 : 12/23/2024

モデル概要

BERTをベースとしたモデルで、主にトークン分類、エンティティ認識、特徴抽出などのタスクに使用されます。様々な量子化バージョンを提供し、異なるニーズに対応します。

モデル特徴

複数の量子化バージョン

Q2_KからQ8_0までの複数の量子化バージョンを提供し、異なる性能と精度のニーズに対応します。

効率的な推論

量子化後のモデルは、高い精度を維持しながら、計算リソースの要求を大幅に削減します。

簡単なデプロイ

GGUF形式を使用しているため、様々なプラットフォームでのデプロイと使用が容易です。

モデル能力

トークン分類

エンティティ認識

特徴抽出

使用事例

自然言語処理

固有表現認識

テキスト内の固有表現（人名、地名、組織名など）を識別します。

テキスト特徴抽出

テキストから意味のある特徴を抽出し、下流のタスクに使用します。

🚀 NuNER-BERT-v1.0-GGUF

このプロジェクトは、https://huggingface.co/numind/NuNER-BERT-v1.0 の静的量子化モデルを提供します。トークン分類、エンティティ認識、特徴抽出などのタスクに役立ちます。

📚 ドキュメント

概要

https://huggingface.co/numind/NuNER-BERT-v1.0 の静的量子化モデルです。現時点では、重み付き/imatrixの量子化は利用できない可能性があります。静的量子化モデルが公開されてから約1週間後に表示されない場合は、私が計画していない可能性があります。コミュニティディスカッションを開いてリクエストしてください。

使用方法

GGUFファイルの使用方法がわからない場合は、TheBlokeのREADMEを参照してください。複数のパートファイルを結合する方法も含め、詳細な情報が記載されています。

提供される量子化モデル

（サイズでソートされており、必ずしも品質を表しているわけではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです）

リンク	タイプ	サイズ (GB)	備考
GGUF	Q2_K	0.2
GGUF	Q3_K_S	0.2
GGUF	Q3_K_M	0.2	低品質
GGUF	IQ4_XS	0.2
GGUF	Q3_K_L	0.2
GGUF	Q4_K_S	0.2	高速、おすすめ
GGUF	Q4_K_M	0.2	高速、おすすめ
GGUF	Q5_K_S	0.2
GGUF	Q5_K_M	0.2
GGUF	Q6_K	0.2	非常に高品質
GGUF	Q8_0	0.2	高速、最高品質
GGUF	f16	0.3	16 bpw、過剰仕様

ikawrakowによる低品質量子化タイプの比較グラフです（値が低いほど良い）：

Artefact2によるこの問題に関する考察： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

FAQ / モデルリクエスト

質問に対する回答や他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

私の会社であるnethype GmbHに感謝します。サーバーの使用を許可し、ワークステーションのアップグレードを提供してくれたおかげで、私は自由時間にこの作業を行うことができました。また、@nicobossにも感謝します。彼のプライベートスーパーコンピューターへのアクセスを許可してくれたおかげで、私は通常よりもはるかに多くのimatrix量子化モデルを高品質で提供することができました。