Pythia-70m-wikipedia-paragraphs-i1-GGUFオープンソースモデル - 多様なニーズに対応したウィキペディアの段落の高精度最適化

ホーム

Pythia 70m Wikipedia Paragraphs I1 GGUF

mradermacherによって開発

これはPythia - 70mモデルに基づく量子化バージョンで、ウィキペディアの段落データに特化して最適化されており、さまざまな量子化タイプを提供して異なるリソース要件に対応します。

大規模言語モデル

Transformers

英語オープンソースライセンス:Apache-2.0 #ウィキペディアテキスト生成 #高効率量子化モデル #多精度選択

ダウンロード数 823

リリース時間 : 5/3/2025

モデル概要

このプロジェクトはagentlans/pythia - 70m - wikipedia - paragraphsモデルの量子化バージョンを提供し、複数の量子化タイプを通じて、ユーザーがリソースが限られた環境でより効率的にモデルを実行できるようにします。

モデル特徴

多量子化タイプ

IQ1_SからQ6_Kまでの複数の量子化タイプを提供し、ユーザーはリソース制限とパフォーマンス要件に基づいて最適なバージョンを選択できます。

高効率実行

量子化後のモデルは、リソースが限られた環境でより効率的に実行でき、特にエッジデバイスや低コンフィグ環境に適しています。

ウィキペディア最適化

モデルはウィキペディアの段落データに特化して訓練と最適化されており、関連タスクでより良い性能を発揮します。

モデル能力

テキスト生成

段落続き生成

（ウィキペディア内容に基づく）知識問答

使用事例

コンテンツ生成

ウィキペディア段落自動生成

与えられたテーマに基づいてウィキペディアスタイルの段落コンテンツを自動生成

教育支援

学習資料生成

キーワードに基づいて簡潔で理解しやすい学習資料を自動生成

🚀 pythia-70m-wikipedia-paragraphs の量子化モデル

このプロジェクトは、agentlans/pythia-70m-wikipedia-paragraphs モデルを量子化したもので、GGUF 形式の量子化モデルを提供します。

📚 ドキュメント

モデル情報

属性	詳情
ベースモデル	agentlans/pythia-70m-wikipedia-paragraphs
データセット	agentlans/wikipedia-paragraphs
言語	英語
ライブラリ名	transformers
ライセンス	apache-2.0
量子化担当者	mradermacher
タグ	text-generation、wikipedia、pythia

概要

https://huggingface.co/agentlans/pythia-70m-wikipedia-paragraphs の weighted/imatrix 量子化モデルです。静的な量子化モデルは https://huggingface.co/mradermacher/pythia-70m-wikipedia-paragraphs-GGUF で入手できます。

使用方法

GGUF ファイルの使い方がわからない場合は、TheBloke の README を参照してください。ここには、マルチパートファイルの結合方法などの詳細が記載されています。

提供される量子化モデル

（サイズ順に並べられており、必ずしも品質の順ではありません。IQ 量子化モデルは、同じサイズの非 IQ 量子化モデルよりも優れていることが多いです。）

リンク	タイプ	サイズ (GB)	備考
GGUF	i1-IQ1_S	0.1	非常に小さいサイズ
GGUF	i1-IQ1_M	0.1	主に小さいサイズ向け
GGUF	i1-IQ2_XXS	0.1
GGUF	i1-IQ2_XS	0.1
GGUF	i1-IQ2_S	0.1
GGUF	i1-IQ2_M	0.1
GGUF	i1-Q2_K_S	0.1	非常に低品質
GGUF	i1-IQ3_XXS	0.1	低品質
GGUF	i1-Q2_K	0.1	IQ3_XXS の方が良いかも
GGUF	i1-IQ3_XS	0.1
GGUF	i1-IQ3_S	0.1	Q3_K* より良い
GGUF	i1-Q3_K_S	0.1	IQ3_XS の方が良いかも
GGUF	i1-IQ3_M	0.1
GGUF	i1-Q3_K_M	0.1	IQ3_S の方が良いかも
GGUF	i1-Q3_K_L	0.1	IQ3_M の方が良いかも
GGUF	i1-IQ4_XS	0.1
GGUF	i1-IQ4_NL	0.1	IQ4_XS を選ぶ方が良い
GGUF	i1-Q4_0	0.1	高速だが低品質
GGUF	i1-Q4_K_S	0.1	サイズ/速度/品質のバランスが良い
GGUF	i1-Q4_K_M	0.1	高速でおすすめ
GGUF	i1-Q4_1	0.2
GGUF	i1-Q5_K_S	0.2
GGUF	i1-Q5_K_M	0.2
GGUF	i1-Q6_K	0.2	静的 Q6_K とほぼ同じ

ikawrakow による低品質量子化タイプの比較グラフです（数値が低い方が良い）：

Artefact2 の関連コメントはこちら： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問 / モデルリクエスト

質問に対する回答や、他のモデルの量子化を依頼する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

私の会社 nethype GmbH には、サーバーの使用を許可し、ワークステーションをアップグレードしてくれたことに感謝します。また、@nicoboss には、プライベートスーパーコンピューターへのアクセスを許可してくれたことに感謝します。これにより、私は通常よりも高品質の imatrix 量子化モデルをたくさん提供することができました。