Ichigo-llama3.1-s-instruct-v0.4-i1-GGUFオープンソースモデル - リソース制約環境における音声言語処理の良いヘルパー

ホーム

Ichigo Llama3.1 S Instruct V0.4 I1 GGUF

mradermacherによって開発

これはMenlo/Ichigo-llama3.1-s-instruct-v0.4モデルのGGUF量子化バージョンで、リソースが限られた環境での音声言語処理タスクに適しています。

大規模言語モデル英語オープンソースライセンス:Apache-2.0 #音声コマンド理解 #低リソース量子化 #英語専用

ダウンロード数 429

リリース時間 : 11/8/2024

モデル概要

Llama3アーキテクチャに基づく命令微調整モデルで、音声からテキストへの変換タスクに特化し、さまざまなハードウェア要件に対応する複数の量子化バージョンを提供します。

モデル特徴

多重量子化オプション

IQ1からQ6_Kまでの24種類の量子化バージョンを提供し、異なるハードウェア条件での性能ニーズに対応

ハードウェア最適化

特にARMアーキテクチャデバイス向けに最適化されたバージョンを提供し、モバイル端末での実行効率を向上

音声処理能力

homebrewltd/instruction-speech-whispervq-v2データセットでトレーニングされ、音声コマンド理解に優れる

モデル能力

音声からテキストへの変換

コマンド理解

英語音声処理

使用事例

音声インタラクション

音声アシスタント

リソースが限られたデバイス上でローカライズされた音声コマンド処理を実現

書き起こしサービス

リアルタイム音声書き起こし

英語の音声コンテンツをリアルタイムでテキストに変換

🚀 Ichigo-llama3.1-s-instruct-v0.4 の概要

このプロジェクトは、音声言語モデルに関するもので、音声テキスト変換などの機能を提供します。Ichigo-llama3.1-s-instruct-v0.4 モデルの重み付き量子化データを提供しています。

属性	详情
ベースモデル	Menlo/Ichigo-llama3.1-s-instruct-v0.4
データセット	homebrewltd/instruction-speech-whispervq-v2
言語	en
ライブラリ名	transformers
ライセンス	apache-2.0
量子化者	mradermacher
タグ	音声言語モデル、音声テキスト変換、torchtune

🚀 クイックスタート

モデルについて

https://huggingface.co/Menlo/Ichigo-llama3.1-s-instruct-v0.4 の重み付き/imatrix量子化データが提供されています。静的量子化データは https://huggingface.co/mradermacher/Ichigo-llama3.1-s-instruct-v0.4-GGUF で入手できます。

使用方法

GGUFファイルの使い方がわからない場合は、TheBloke's READMEs を参照してください。ここには、マルチパートファイルの結合方法などの詳細が記載されています。

🔧 提供される量子化データ

（サイズでソートされており、必ずしも品質を表しているわけではありません。IQ量子化は同サイズの非IQ量子化よりも優れていることが多いです）

リンク	タイプ	サイズ/GB	備考
GGUF	i1-IQ1_S	2.1	非常に必要な場合
GGUF	i1-IQ1_M	2.3	ほとんど必要な場合
GGUF	i1-IQ2_XXS	2.5
GGUF	i1-IQ2_XS	2.7
GGUF	i1-IQ2_S	2.9
GGUF	i1-IQ2_M	3.1
GGUF	i1-Q2_K	3.3	IQ3_XXS の方が良いかも
GGUF	i1-IQ3_XXS	3.4	低品質
GGUF	i1-IQ3_XS	3.6
GGUF	i1-Q3_K_S	3.8	IQ3_XS の方が良いかも
GGUF	i1-IQ3_S	3.8	Q3_K* より良い
GGUF	i1-IQ3_M	3.9
GGUF	i1-Q3_K_M	4.1	IQ3_S の方が良いかも
GGUF	i1-Q3_K_L	4.4	IQ3_M の方が良いかも
GGUF	i1-IQ4_XS	4.6
GGUF	i1-Q4_0_4_4	4.8	ARM で高速、低品質
GGUF	i1-Q4_0_4_8	4.8	ARM+i8mm で高速、低品質
GGUF	i1-Q4_0_8_8	4.8	ARM+sve で高速、低品質
GGUF	i1-Q4_0	4.8	高速、低品質
GGUF	i1-Q4_K_S	4.8	サイズ/速度/品質が最適
GGUF	i1-Q4_K_M	5.0	高速、おすすめ
GGUF	i1-Q5_K_S	5.7
GGUF	i1-Q5_K_M	5.8
GGUF	i1-Q6_K	6.7	実質的に静的 Q6_K と同じ

こちらは ikawrakow による、いくつかの低品質量子化タイプを比較した便利なグラフです（値が低い方が良い）：

また、Artefact2 のこの問題に関する考え方はこちらです： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

📚 よくある質問 / モデルリクエスト

質問に対する回答や、他のモデルの量子化を依頼する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

📄 ライセンス

このプロジェクトは apache-2.0 ライセンスの下で提供されています。

🙏 謝辞

私の会社 nethype GmbH には、サーバーの使用を許可し、ワークステーションのアップグレードを提供してくれたことに感謝します。これにより、私は余暇時間にこの作業を行うことができました。また、@nicoboss には、彼のプライベートスーパーコンピューターへのアクセスを許可してくれたことに感謝します。これにより、私は通常よりもはるかに高品質の imatrix 量子化データを提供することができました。