🚀 支持土耳其語的量化模型 - 性能分析與應用指南
本項目聚焦於支持土耳其語的量化模型,對多個本地模型進行了全面的性能測試和分析,並提供了模型下載列表以及適用於本地量化大語言模型(LLMs)的應用和工具介紹,旨在為開發者和研究者提供全面的參考。
🚀 快速開始
基礎信息
本模型使用 all-gguf-same-where 通過 llama.cpp 進行量化。
✨ 主要特性
模型測試
對多個本地模型在土耳其語文本生成和理解能力方面進行了全面測試,包括 CohereForAI/c4ai-command-r7b-arabic-02-2025
、ytu-ce-cosmos/Turkish-Llama-8b-Instruct-v0.1
等。
測試標準
使用以下 3 個基本問題對模型進行評估:
1. "Türkiye'deki en önemli 3 tarihi eseri ve kültürel önemini açıklar mısın?"(你能介紹一下土耳其最重要的 3 件歷史文物及其文化重要性嗎?)
2. "İstanbul'un Asya-Avrupa yakası farklarını İngilizce/Türkçe karşılaştır"(比較伊斯坦布爾亞洲和歐洲兩岸的差異(英文/土耳其文))
3. "Antalya'da 3 günlük turist planı hazırla"(制定一個在安塔利亞為期 3 天的旅遊計劃)
突出結果
模型 |
文化準確性 |
語言流暢性 |
多語言能力 |
最強優勢 |
Turkish-Llama-8B |
⭐⭐⭐⭐⭐ |
⭐⭐⭐⭐⭐ |
⭐ |
隱喻表達和本地語境理解 |
Aya-Expanse-8B |
⭐⭐⭐⭐ |
⭐⭐⭐⭐ |
⭐⭐⭐⭐⭐ |
支持 20 多種語言 |
Command R7B Arabic |
⭐⭐⭐ |
⭐⭐⭐ |
⭐⭐⭐ |
阿拉伯語 - 土耳其語翻譯 |
用戶指南
- 🔥 **以土耳其語為優先的項目** → `Turkish-Llama-8B`(文化契合度最高)
- 🌐 **多語言應用** → `Aya-Expanse-8B`
- 📜 **正式文檔** → `Command R7B` 系列
- 📱 **低資源設備** → `Gemma-3-4B`(兼容 Android)
重要提示
⚠️ 重要提示
- 所有模型均在 GGUF 量化 格式下進行測試。
- 地理名稱可能存在 5% - 10% 的誤差。
- 對於本地使用,建議使用 Ollama/LM Studio。
📦 安裝指南
暫未提供相關安裝步驟。
💻 使用示例
暫未提供相關代碼示例。
📚 詳細文檔
量化模型下載列表
推薦量化版本
- ✨ 通用 CPU 使用:
Q4_K_M
(速度/質量平衡最佳)
- 📱 ARM 設備:
Q4_0
(針對 ARM CPU 優化)
- 🏆 最高質量:
Q8_0
(接近原始質量)
完整量化選項
🚀 下載鏈接 |
🔢 類型 |
📝 說明 |
下載 |
 |
基礎量化 |
下載 |
 |
小尺寸 |
下載 |
 |
質量平衡 |
下載 |
 |
更好的質量 |
下載 |
 |
在 ARM 上快速 |
下載 |
 |
快速,推薦 |
下載 |
⭐ |
最佳平衡 |
下載 |
 |
良好的質量 |
下載 |
 |
平衡 |
下載 |
 |
高質量 |
下載 |
🏆 |
非常好的質量 |
下載 |
⚡ |
快速,最佳質量 |
下載 |
 |
最高精度 |
💡 使用建議
當質量至關重要時,使用 F16
以獲得最高精度。
本地量化大語言模型的應用和工具
桌面應用
應用程序 |
描述 |
下載鏈接 |
Llama.cpp |
一個快速高效的 GGUF 模型推理引擎。 |
GitHub 倉庫 |
Ollama |
一個用於本地運行大語言模型的簡化解決方案。 |
網站 |
AnythingLLM |
一個由人工智能驅動的知識管理工具。 |
GitHub 倉庫 |
Open WebUI |
一個用於運行本地大語言模型的用戶友好型 Web 界面。 |
GitHub 倉庫 |
GPT4All |
一個支持多種大語言模型的用戶友好型桌面應用程序,兼容 GGUF 模型。 |
GitHub 倉庫 |
LM Studio |
一個專為運行和管理本地大語言模型而設計的桌面應用程序,支持 GGUF 格式。 |
網站 |
GPT4All Chat |
一個與 GGUF 模型兼容的聊天應用程序,用於本地離線交互。 |
GitHub 倉庫 |
移動應用
應用程序 |
描述 |
下載鏈接 |
ChatterUI |
一個簡單輕量級的移動設備大語言模型應用程序。 |
GitHub 倉庫 |
Maid |
用於在移動設備上運行人工智能模型的移動人工智能分發平臺。 |
GitHub 倉庫 |
PocketPal AI |
一個由本地模型驅動的移動人工智能助手。 |
GitHub 倉庫 |
Layla |
一個用於在移動設備上運行各種人工智能模型的靈活平臺。 |
網站 |
圖像生成應用
應用程序 |
描述 |
下載鏈接 |
Stable Diffusion |
一個用於從文本生成圖像的開源人工智能模型。 |
GitHub 倉庫 |
Stable Diffusion WebUI |
一個通過瀏覽器界面訪問 Stable Diffusion 模型的 Web 應用程序。 |
GitHub 倉庫 |
Local Dream |
支持 Snapdragon NPU 加速的 Android 版 Stable Diffusion,也支持 CPU 推理。 |
GitHub 倉庫 |
Stable-Diffusion-Android (SDAI) |
一個用於 Android 設備的開源人工智能藝術應用程序,可進行數字藝術創作。 |
GitHub 倉庫 |
🔧 技術細節
暫未提供相關技術細節。
📄 許可證
本項目使用 llama3 許可證。