LLaMA-Mesh-GGUF開源模型 - 實現文本轉3D網格，多量化適配不同硬件

首頁

Llama Mesh GGUF

由bartowski開發

LLaMA-Mesh是一個基於LLaMA架構的文本轉3D模型，專注於網格生成任務。該版本是使用llama.cpp進行量化的版本，提供了多種量化選項以適應不同硬件需求。

文本生成圖像 #文本轉3D #高精度網格生成 #多量化版本

下載量 1,911

發布時間 : 11/20/2024

模型概述

LLaMA-Mesh是一個將文本描述轉換為3D網格的模型，適用於3D建模和設計領域。該量化版本通過不同精度的量化選項，使模型能夠在各種硬件配置上高效運行。

模型特點

多種量化選項

提供從f16到Q2_K的多種量化版本，滿足不同硬件和性能需求。

高質量量化

使用imatrix選項進行量化，確保模型在壓縮後仍保持高質量輸出。

硬件優化

部分量化版本針對ARM和AVX推理進行了特別優化，提升運行效率。

模型能力

文本到3D網格生成

支持多種量化精度

硬件加速推理

使用案例

3D建模

快速原型設計

通過文本描述快速生成3D網格，加速產品原型設計流程。

生成可用於3D打印或進一步編輯的網格模型

遊戲開發

遊戲資產生成

根據文本描述自動生成遊戲中的3D物體和場景元素。

減少美術資源製作時間和成本

🚀 LLaMA-Mesh的Llamacpp imatrix量化版本

本項目使用 llama.cpp 的 b4132 版本進行模型量化。該項目主要用於文本到3D的轉換，能夠實現網格生成等功能，為相關領域的應用提供了有力支持。

項目信息

屬性	詳情
量化者	bartowski
模型類型	文本到3D
標籤	mesh-generation
許可證	llama3.1
基礎模型	Zhengyi/LLaMA-Mesh

原始模型鏈接

Zhengyi/LLaMA-Mesh

量化說明

所有量化模型均使用 imatrix 選項，並採用此處的數據集。你可以在 LM Studio 中運行這些量化模型。

🚀 快速開始

提示格式

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

下載文件

你可以從以下表格中選擇並下載所需的文件（非整個分支）：

文件名	量化類型	文件大小	分割情況	描述
LLaMA-Mesh-f16.gguf	f16	16.07GB	false	完整的F16權重。
LLaMA-Mesh-Q8_0.gguf	Q8_0	8.54GB	false	極高質量，通常無需使用，但為可用的最高量化級別。
LLaMA-Mesh-Q6_K_L.gguf	Q6_K_L	6.85GB	false	嵌入和輸出權重採用Q8_0量化。非常高質量，近乎完美，推薦。
LLaMA-Mesh-Q6_K.gguf	Q6_K	6.60GB	false	非常高質量，近乎完美，推薦。
LLaMA-Mesh-Q5_K_L.gguf	Q5_K_L	6.06GB	false	嵌入和輸出權重採用Q8_0量化。高質量，推薦。
LLaMA-Mesh-Q5_K_M.gguf	Q5_K_M	5.73GB	false	高質量，推薦。
LLaMA-Mesh-Q5_K_S.gguf	Q5_K_S	5.60GB	false	高質量，推薦。
LLaMA-Mesh-Q4_K_L.gguf	Q4_K_L	5.31GB	false	嵌入和輸出權重採用Q8_0量化。質量良好，推薦。
LLaMA-Mesh-Q4_K_M.gguf	Q4_K_M	4.92GB	false	質量良好，大多數使用場景的默認大小，推薦。
LLaMA-Mesh-Q3_K_XL.gguf	Q3_K_XL	4.78GB	false	嵌入和輸出權重採用Q8_0量化。質量較低但可用，適合低內存情況。
LLaMA-Mesh-Q4_K_S.gguf	Q4_K_S	4.69GB	false	質量略低但節省空間，推薦。
LLaMA-Mesh-Q4_0.gguf	Q4_0	4.68GB	false	舊格式，通常在類似大小的格式中不值得使用
LLaMA-Mesh-Q4_0_8_8.gguf	Q4_0_8_8	4.66GB	false	針對ARM和AVX推理進行優化。ARM需要'sve'支持（詳見下文）。請勿在Mac上使用。
LLaMA-Mesh-Q4_0_4_8.gguf	Q4_0_4_8	4.66GB	false	針對ARM推理進行優化。需要'i8mm'支持（詳見下文）。請勿在Mac上使用。
LLaMA-Mesh-Q4_0_4_4.gguf	Q4_0_4_4	4.66GB	false	針對ARM推理進行優化。應在所有ARM芯片上正常工作，不適合與GPU一起使用。請勿在Mac上使用。
LLaMA-Mesh-IQ4_XS.gguf	IQ4_XS	4.45GB	false	質量不錯，比Q4_K_S小且性能相似，推薦。
LLaMA-Mesh-Q3_K_L.gguf	Q3_K_L	4.32GB	false	質量較低但可用，適合低內存情況。
LLaMA-Mesh-Q3_K_M.gguf	Q3_K_M	4.02GB	false	低質量。
LLaMA-Mesh-IQ3_M.gguf	IQ3_M	3.78GB	false	中低質量，新方法，性能與Q3_K_M相當。
LLaMA-Mesh-Q2_K_L.gguf	Q2_K_L	3.69GB	false	嵌入和輸出權重採用Q8_0量化。質量非常低但出人意料地可用。
LLaMA-Mesh-Q3_K_S.gguf	Q3_K_S	3.66GB	false	低質量，不推薦。
LLaMA-Mesh-IQ3_XS.gguf	IQ3_XS	3.52GB	false	質量較低，新方法，性能不錯，略優於Q3_K_S。
LLaMA-Mesh-Q2_K.gguf	Q2_K	3.18GB	false	質量非常低但出人意料地可用。
LLaMA-Mesh-IQ2_M.gguf	IQ2_M	2.95GB	false	相對低質量，採用最新技術，出人意料地可用。

嵌入/輸出權重說明

部分量化模型（如Q3_K_XL、Q4_K_L等）採用標準量化方法，將嵌入和輸出權重量化為Q8_0，而非默認值。

使用huggingface-cli下載

點擊查看下載說明

首先，確保你已安裝 huggingface-cli：

pip install -U "huggingface_hub[cli]"

然後，你可以指定要下載的特定文件：

huggingface-cli download bartowski/LLaMA-Mesh-GGUF --include "LLaMA-Mesh-Q4_K_M.gguf" --local-dir ./

如果模型大小超過50GB，它將被分割成多個文件。要將它們全部下載到本地文件夾，請運行：

huggingface-cli download bartowski/LLaMA-Mesh-GGUF --include "LLaMA-Mesh-Q8_0/*" --local-dir ./

你可以指定一個新的本地目錄（如 LLaMA-Mesh-Q8_0），也可以將它們全部下載到當前目錄（./）。

Q4_0_X_X信息

這些量化模型 不適用於 Metal（蘋果）或GPU（英偉達/AMD/英特爾）卸載，僅適用於ARM芯片（以及某些AVX2/AVX512 CPU）。

如果你使用的是ARM芯片，Q4_0_X_X量化模型將顯著提高速度。查看原始拉取請求中的Q4_0_4_4速度比較。

要檢查哪個量化模型最適合你的ARM芯片，你可以查看 AArch64 SoC特性（感謝EloyOn！）。

如果你使用的CPU支持AVX2或AVX512（通常是服務器CPU和AMD最新的Zen5 CPU）且不進行GPU卸載，Q4_0_8_8也可能提供不錯的速度：

點擊查看AVX2系統（EPYC7702）上的基準測試

模型	大小	參數	後端	線程數	測試用例	每秒吞吐量	與Q4_0相比
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp512	204.03 ± 1.03	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp1024	282.92 ± 0.19	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	pp2048	259.49 ± 0.44	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg128	39.12 ± 0.27	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg256	39.31 ± 0.69	100%
qwen2 3B Q4_0	1.70 GiB	3.09 B	CPU	64	tg512	40.52 ± 0.03	100%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp512	301.02 ± 1.74	147%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp1024	287.23 ± 0.20	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	pp2048	262.77 ± 1.81	101%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg128	18.80 ± 0.99	48%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg256	24.46 ± 3.04	83%
qwen2 3B Q4_K_M	1.79 GiB	3.09 B	CPU	64	tg512	36.32 ± 3.59	90%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp512	271.71 ± 3.53	133%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp1024	279.86 ± 45.63	100%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	pp2048	320.77 ± 5.00	124%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg128	43.51 ± 0.05	111%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg256	43.35 ± 0.09	110%
qwen2 3B Q4_0_8_8	1.69 GiB	3.09 B	CPU	64	tg512	42.60 ± 0.31	105%