cupidon-mini-ro-i1-GGUFオープンソースモデル - ルーマニア語テキストタスクを無料でデプロイして処理

Home

Cupidon Mini Ro I1 GGUF

Developed by mradermacher

これはBlackKakapo/cupidon-mini-roに対して重み付け/imatrix量子化を施したバージョンで、ルーマニア語テキスト処理タスクに適しています。

テキスト埋め込み OtherOpen Source License:Apache-2.0 #ルーマニア語文埋め込み #軽量量子化 #文類似度計算

Downloads 546

Release Time : 4/3/2025

Model Overview

このモデルはBlackKakapo/cupidon-mini-roの量子化バージョンで、主に文埋め込み、特徴抽出、文類似度計算などのタスクに使用されます。

Model Features

多様な量子化バージョン

IQ1からQ6_Kまでの複数量子化バージョンを提供し、様々なシナリオのニーズに対応

効率的な推論

量子化後のモデルはサイズが小さく、推論速度が速く、リソース制約環境に適しています

ルーマニア語最適化

ルーマニア語テキスト処理タスクに特化して最適化されています

Model Capabilities

文埋め込み

特徴抽出

文類似度計算

テキスト表現学習

Use Cases

テキスト類似度

ドキュメント検索

クエリとドキュメントライブラリ内のテキスト間の類似度を計算

重複検出

内容が類似しているテキスト段落を識別

意味解析

意味検索

キーワードではなく意味に基づく検索システム

🚀 cupidon-mini-ro の量子化バージョン

このプロジェクトは、BlackKakapo/cupidon-mini-ro モデルの量子化バージョンを提供します。量子化により、モデルのサイズを削減し、推論速度を向上させることができます。

🚀 クイックスタート

基本情報

属性	详情
ベースモデル	BlackKakapo/cupidon-mini-ro
データセット	BlackKakapo/RoSTSC
言語	ro
ライブラリ名	transformers
ライセンス	apache-2.0
量子化担当者	mradermacher
タグ	sentence-transformers、feature-extraction、sentence-similarity、transformers

概要

https://huggingface.co/BlackKakapo/cupidon-mini-ro の weighted/imatrix 量子化モデルです。静的量子化モデルは https://huggingface.co/mradermacher/cupidon-mini-ro-GGUF で入手可能です。

使用方法

GGUF ファイルの使い方がわからない場合は、TheBloke の README を参照してください。複数のパートファイルを結合する方法も含め、詳細な情報が記載されています。

📦 提供される量子化モデル

（サイズ順に並べられており、必ずしも品質の順ではありません。IQ 量子化モデルは、同じサイズの非 IQ 量子化モデルよりも優れていることが多いです。）

リンク	タイプ	サイズ (GB)	備考
GGUF	i1-IQ1_S	0.1	非常に必要な場合
GGUF	i1-IQ1_M	0.1	ほとんど必要な場合
GGUF	i1-IQ2_XXS	0.1
GGUF	i1-IQ2_S	0.1
GGUF	i1-IQ2_XS	0.1
GGUF	i1-IQ2_M	0.1
GGUF	i1-Q2_K_S	0.1	非常に低品質
GGUF	i1-IQ3_XXS	0.1	低品質
GGUF	i1-IQ3_S	0.1	Q3_K* より良い
GGUF	i1-IQ3_XS	0.1
GGUF	i1-Q2_K	0.1	IQ3_XXS の方が良い可能性があります
GGUF	i1-Q3_K_S	0.1	IQ3_XS の方が良い可能性があります
GGUF	i1-IQ3_M	0.1
GGUF	i1-IQ4_XS	0.1
GGUF	i1-IQ4_NL	0.1	IQ4_XS を選ぶことをおすすめします
GGUF	i1-Q4_0	0.1	高速で低品質
GGUF	i1-Q3_K_M	0.1	IQ3_S の方が良い可能性があります
GGUF	i1-Q4_1	0.1
GGUF	i1-Q3_K_L	0.1	IQ3_M の方が良い可能性があります
GGUF	i1-Q4_K_S	0.1	サイズ/速度/品質のバランスが良い
GGUF	i1-Q4_K_M	0.1	高速でおすすめ
GGUF	i1-Q5_K_S	0.1
GGUF	i1-Q5_K_M	0.1
GGUF	i1-Q6_K	0.1	静的 Q6_K とほぼ同じ

ikawrakow による低品質量子化タイプの比較グラフです（数値が低いほど良い）：

Artefact2 のこの問題に関する考え方： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

📚 よくある質問 / モデルリクエスト

質問に対する回答や、他のモデルの量子化を依頼する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

🙏 謝辞

この作業を可能にするために、私の会社 nethype GmbH にサーバーを使用させていただき、ワークステーションのアップグレードを提供してくれたことに感謝します。また、@nicoboss には、私が彼のプライベートスーパーコンピューターにアクセスできるようにしてくれたことに感謝します。これにより、私は通常よりもはるかに高品質の多くの imatrix 量子化モデルを提供することができました。