🚀 無聲大模型 Speechless-llama3.2-v0.1 量化版本
本項目提供了 Menlo/Speechless-llama3.2-v0.1
模型的量化版本,支持英語和越南語,可用於語音語言處理任務,如音頻文本轉換等。
🚀 快速開始
如果你不確定如何使用 GGUF 文件,請參考 TheBloke 的 README 以獲取更多詳細信息,包括如何拼接多部分文件。
✨ 主要特性
- 多語言支持:支持英語和越南語。
- 多種量化類型:提供了多種不同大小和質量的量化版本供選擇。
📦 安裝指南
文檔未提供具體安裝步驟,暫不展示。
💻 使用示例
文檔未提供代碼示例,暫不展示。
📚 詳細文檔
模型信息
屬性 |
詳情 |
基礎模型 |
Menlo/Speechless-llama3.2-v0.1 |
訓練數據集 |
homebrewltd/Ichigo-tokenized-v0.1 |
支持語言 |
英語、越南語 |
庫名稱 |
transformers |
量化者 |
mradermacher |
標籤 |
語音語言模型、音頻文本轉換、torchtune、whisperspeech |
許可證 |
apache-2.0 |
關於
https://huggingface.co/Menlo/Speechless-llama3.2-v0.1
的加權/矩陣量化版本。靜態量化文件可在 此處 獲取。
提供的量化版本
(按大小排序,不一定按質量排序。IQ 量化通常優於類似大小的非 IQ 量化)
鏈接 |
類型 |
大小/GB |
備註 |
GGUF |
i1-IQ1_S |
0.5 |
適用於急需的情況 |
GGUF |
i1-IQ1_M |
0.5 |
大多用於急需情況 |
GGUF |
i1-IQ2_XXS |
0.6 |
|
GGUF |
i1-IQ2_XS |
0.6 |
|
GGUF |
i1-IQ2_S |
0.6 |
|
GGUF |
i1-IQ2_M |
0.6 |
|
GGUF |
i1-Q2_K_S |
0.7 |
質量非常低 |
GGUF |
i1-IQ3_XXS |
0.7 |
質量較低 |
GGUF |
i1-Q2_K |
0.7 |
IQ3_XXS 可能更好 |
GGUF |
i1-IQ3_XS |
0.7 |
|
GGUF |
i1-Q3_K_S |
0.7 |
IQ3_XS 可能更好 |
GGUF |
i1-IQ3_S |
0.7 |
優於 Q3_K* |
GGUF |
i1-IQ3_M |
0.8 |
|
GGUF |
i1-Q3_K_M |
0.8 |
IQ3_S 可能更好 |
GGUF |
i1-Q3_K_L |
0.8 |
IQ3_M 可能更好 |
GGUF |
i1-IQ4_XS |
0.8 |
|
GGUF |
i1-IQ4_NL |
0.9 |
優先選擇 IQ4_XS |
GGUF |
i1-Q4_0 |
0.9 |
速度快,質量低 |
GGUF |
i1-Q4_K_S |
0.9 |
大小/速度/質量最優 |
GGUF |
i1-Q4_K_M |
0.9 |
速度快,推薦使用 |
GGUF |
i1-Q4_1 |
0.9 |
|
GGUF |
i1-Q5_K_S |
1.0 |
|
GGUF |
i1-Q5_K_M |
1.0 |
|
GGUF |
i1-Q6_K |
1.1 |
實際上類似於靜態 Q6_K |
量化類型對比圖
以下是 ikawrakow 提供的一張對比一些低質量量化類型的實用圖表(數值越低越好):

相關討論
你可以查看 Artefact2 的觀點。
常見問題與模型請求
你可以訪問 這裡 獲取一些常見問題的答案,或者請求對其他模型進行量化。
🔧 技術細節
文檔未提供具體技術實現細節,暫不展示。
📄 許可證
本項目採用 apache-2.0
許可證。
🙏 致謝
感謝我的公司 nethype GmbH 允許我使用其服務器,並對我的工作站進行升級,使我能夠在業餘時間完成這項工作。此外,感謝 @nicoboss 讓我使用他的私人超級計算機,使我能夠提供更多、質量更高的矩陣量化版本。