Llama-3-VNTL-Yollisa-8B-i1-GGUFオープンソースモデル - 英語と日本語を無料で処理、日本メディアとビジュアルノベル分野に焦点を当てる

ホーム

Llama 3 VNTL Yollisa 8B I1 GGUF

mradermacherによって開発

これはCasual-Autopsy/Llama-3-VNTL-Yollisa-8Bの重み付け/行列量子化バージョンで、英語と日本語の処理に適しており、特に日本のメディア、オタクメディア、ビジュアルノベル（VNs）分野に特化しています。

大規模言語モデル複数言語対応#ビジュアルノベル翻訳 #日本語メディア処理 #軽量化量子化

ダウンロード数 116

リリース時間 : 3/5/2025

モデル概要

このモデルはLlama-3アーキテクチャに基づく8Bパラメータモデルで、リソース要件を低減するために量子化処理が施されており、英語と日本語をサポートし、翻訳と日本メディアコンテンツ処理に焦点を当てています。

モデル特徴

多言語サポート

英語と日本語をサポートし、特に日本のメディアやオタク文化関連コンテンツの処理に適しています。

量子化バージョンの多様性

極低品質のIQ1_Sから高品質のQ6_Kまで、さまざまな量子化バージョンを提供し、異なるハードウェア要件に対応します。

ビジュアルノベルに特化

モデルはビジュアルノベル（VNs）分野に最適化されており、関連するテキストコンテンツの処理に適しています。

モデル能力

テキスト生成

翻訳

日本語テキスト処理

英語テキスト処理

使用事例

メディアコンテンツ処理

ビジュアルノベル翻訳

日本語のビジュアルノベルを英語に翻訳、またはその逆を行います。

日本メディアコンテンツ生成

日本のメディアに関連するテキストコンテンツを生成または処理します。

多言語アプリケーション

多言語チャットボット

英語と日本語をサポートするチャットボットを構築します。

🚀 Llama-3-VNTL-Yollisa-8B-GGUF

このプロジェクトは、https://huggingface.co/Casual-Autopsy/Llama-3-VNTL-Yollisa-8B の重み付き/imatrix量子化モデルを提供しています。GGUF形式の静的量子化モデルも利用可能で、翻訳やビジュアルノベルなどのタスクに役立ちます。

🚀 クイックスタート

このモデルの使用方法や提供される量子化モデルについて説明します。

📚 ドキュメント

概要

ベースモデル: Casual-Autopsy/Llama-3-VNTL-Yollisa-8B
サポート言語: 英語、日本語
ライブラリ名: transformers
量子化者: mradermacher
タグ: mergekit、merge、translation、japanese_media、otaku_media、visual_novels、VNs

https://huggingface.co/Casual-Autopsy/Llama-3-VNTL-Yollisa-8B の重み付き/imatrix量子化モデルです。静的量子化モデルは https://huggingface.co/mradermacher/Llama-3-VNTL-Yollisa-8B-GGUF で利用可能です。

使用方法

GGUFファイルの使用方法がわからない場合は、TheBlokeのREADME を参照してください。ここには、マルチパートファイルの結合方法などの詳細が記載されています。

提供される量子化モデル

（サイズ順に並べられており、必ずしも品質の順ではありません。IQ量子化モデルは、同じサイズの非IQ量子化モデルよりも優れていることが多いです）

リンク	タイプ	サイズ (GB)	備考
GGUF	i1-IQ1_S	2.1	非常に必要な場合
GGUF	i1-IQ1_M	2.3	ほとんど必要な場合
GGUF	i1-IQ2_XXS	2.5
GGUF	i1-IQ2_XS	2.7
GGUF	i1-IQ2_S	2.9
GGUF	i1-IQ2_M	3.0
GGUF	i1-Q2_K_S	3.1	非常に低品質
GGUF	i1-Q2_K	3.3	IQ3_XXSの方が良い可能性があります
GGUF	i1-IQ3_XXS	3.4	低品質
GGUF	i1-IQ3_XS	3.6
GGUF	i1-Q3_K_S	3.8	IQ3_XSの方が良い可能性があります
GGUF	i1-IQ3_S	3.8	Q3_K*より良い
GGUF	i1-IQ3_M	3.9
GGUF	i1-Q3_K_M	4.1	IQ3_Sの方が良い可能性があります
GGUF	i1-Q3_K_L	4.4	IQ3_Mの方が良い可能性があります
GGUF	i1-IQ4_XS	4.5
GGUF	i1-Q4_0	4.8	高速、低品質
GGUF	i1-IQ4_NL	4.8	IQ4_XSの方が良い
GGUF	i1-Q4_K_S	4.8	サイズ/速度/品質のバランスが良い
GGUF	i1-Q4_K_M	5.0	高速、おすすめ
GGUF	i1-Q4_1	5.2
GGUF	i1-Q5_K_S	5.7
GGUF	i1-Q5_K_M	5.8
GGUF	i1-Q6_K	6.7	実質的に静的Q6_Kと同じ

ikawrakowによる低品質量子化タイプの比較グラフです（値が低いほど良い）:

Artefact2によるこの問題に関する考察もあります: https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問 / モデルリクエスト

質問に対する回答や他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

この作業を可能にするために、私の会社 nethype GmbH にサーバーの使用を許可していただき、ワークステーションのアップグレードを提供していただきました。また、@nicoboss には、私が彼のプライベートスーパーコンピューターを利用できるようにしてくれたことに感謝しています。これにより、私は通常よりも高品質の多くのimatrix量子化モデルを提供することができました。