Japanese Stablelm Instruct Gamma 7B GGUF

🚀 日語StableLM指令Gamma 7B - GGUF

本項目提供了日語StableLM指令Gamma 7B模型的GGUF格式文件，可用於文本生成任務。該模型基於Mistral架構，由Stability AI創建，適用於多種推理場景。

🚀 快速開始

本倉庫包含 Stability AI的日語StableLM指令Gamma 7B 的GGUF格式模型文件。這些文件是使用 Massed Compute 提供的硬件進行量化的。

✨ 主要特性

• 多格式支持：提供多種量化格式的模型文件，包括AWQ、GPTQ和GGUF，適用於不同的推理需求。
• 廣泛兼容性：與多種客戶端和庫兼容，如llama.cpp、text-generation-webui、KoboldCpp等。
• 高效推理：支持GPU加速，可在不同平臺上實現高效的文本生成。

📦 安裝指南

下載GGUF文件

手動下載時，幾乎不需要克隆整個倉庫，因為提供了多種不同的量化格式，大多數用戶只需要選擇並下載單個文件。以下客戶端/庫會自動為你下載模型，並提供可用模型列表供你選擇：

• LM Studio
• LoLLMS Web UI
• Faraday.dev

在 text-generation-webui 中下載

在“Download Model”下，輸入模型倉庫地址 TheBloke/japanese-stablelm-instruct-gamma-7B-GGUF，並在下方輸入要下載的具體文件名，如 japanese-stablelm-instruct-gamma-7b.Q4_K_M.gguf，然後點擊“Download”。

在命令行下載

推薦使用 huggingface-hub Python庫：

pip3 install huggingface-hub

然後可以使用以下命令將任何單個模型文件高速下載到當前目錄：

huggingface-cli download TheBloke/japanese-stablelm-instruct-gamma-7B-GGUF japanese-stablelm-instruct-gamma-7b.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

也可以使用通配符一次下載多個文件：

huggingface-cli download TheBloke/japanese-stablelm-instruct-gamma-7B-GGUF --local-dir . --local-dir-use-symlinks False --include='*Q4_K*gguf'

要在高速連接（1Gbit/s或更高）上加速下載，請安裝 hf_transfer：

pip3 install hf_transfer

並將環境變量 HF_HUB_ENABLE_HF_TRANSFER 設置為 1：

HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download TheBloke/japanese-stablelm-instruct-gamma-7B-GGUF japanese-stablelm-instruct-gamma-7b.Q4_K_M.gguf --local-dir . --local-dir-use-symlinks False

Windows命令行用戶可以在下載命令前運行 set HF_HUB_ENABLE_HF_TRANSFER=1 來設置環境變量。

💻 使用示例

基礎用法

以下是在 llama.cpp 中運行模型的示例命令：

./main -ngl 32 -m japanese-stablelm-instruct-gamma-7b.Q4_K_M.gguf --color -c 2048 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。\n\n### 指示: \n{prompt}\n\n### 入力: \n{input}\n\n### 応答:"

• -ngl 32：將其更改為要卸載到GPU的層數。如果沒有GPU加速，請刪除此參數。
• -c 2048：將其更改為所需的序列長度。對於擴展序列模型（如8K、16K、32K），必要的RoPE縮放參數會從GGUF文件中讀取並由 llama.cpp 自動設置。
• 如果要進行聊天式對話，將 -p <PROMPT> 參數替換為 -i -ins。

其他參數的使用方法請參考 llama.cpp文檔。

高級用法

在 text-generation-webui 中運行

詳細說明請參考 text-generation-webui/docs/llama.cpp.md。

從Python代碼運行

可以使用 llama-cpp-python 或 ctransformers 庫從Python中使用GGUF模型。

使用 ctransformers 加載模型

首先根據系統運行以下命令之一安裝包：

# 無GPU加速的基礎ctransformers
pip install ctransformers
# 或使用CUDA GPU加速
pip install ctransformers[cuda]
# 或使用AMD ROCm GPU加速（僅適用於Linux）
CT_HIPBLAS=1 pip install ctransformers --no-binary ctransformers
# 或使用Metal GPU加速（僅適用於macOS系統）
CT_METAL=1 pip install ctransformers --no-binary ctransformers

以下是簡單的 ctransformers 示例代碼：

from ctransformers import AutoModelForCausalLM

# 將gpu_layers設置為要卸載到GPU的層數。如果系統沒有GPU加速，請將其設置為0。
llm = AutoModelForCausalLM.from_pretrained("TheBloke/japanese-stablelm-instruct-gamma-7B-GGUF", model_file="japanese-stablelm-instruct-gamma-7b.Q4_K_M.gguf", model_type="mistral", gpu_layers=50)

print(llm("AI is going to"))

與LangChain一起使用

以下是使用 llama-cpp-python 和 ctransformers 與LangChain的指南：

• LangChain + llama-cpp-python
• LangChain + ctransformers

📚 詳細文檔

關於GGUF

GGUF是llama.cpp團隊在2023年8月21日引入的一種新格式，它是GGML的替代品，而GGML已不再受llama.cpp支持。

以下是已知支持GGUF的客戶端和庫的不完全列表：

• llama.cpp：GGUF的源項目，提供CLI和服務器選項。
• text-generation-webui：最廣泛使用的Web UI，具有許多功能和強大的擴展，支持GPU加速。
• KoboldCpp：功能齊全的Web UI，支持所有平臺和GPU架構的GPU加速，尤其適合講故事。
• LM Studio：適用於Windows和macOS（Silicon）的易於使用且功能強大的本地GUI，支持GPU加速。
• LoLLMS Web UI：一個很棒的Web UI，具有許多有趣和獨特的功能，包括一個完整的模型庫，便於模型選擇。
• Faraday.dev：適用於Windows和macOS（Silicon和Intel）的有吸引力且易於使用的基於角色的聊天GUI，支持GPU加速。
• ctransformers：一個支持GPU加速、LangChain和OpenAI兼容AI服務器的Python庫。
• llama-cpp-python：一個支持GPU加速、LangChain和OpenAI兼容API服務器的Python庫。
• candle：一個專注於性能的Rust ML框架，包括GPU支持和易用性。

可用倉庫

• 用於GPU推理的AWQ模型
• 用於GPU推理的GPTQ模型，具有多種量化參數選項
• 用於CPU+GPU推理的2、3、4、5、6和8位GGUF模型
• Stability AI的原始未量化fp16 PyTorch格式模型，用於GPU推理和進一步轉換

提示模板

以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。

### 指示: 
{prompt}

### 入力: 
{input}

### 応答: 

兼容性

這些量化的GGUFv2文件與8月27日之後的 llama.cpp 兼容，截至提交 d0cee0d。它們也與許多第三方UI和庫兼容，請參閱本README頂部的列表。

量化方法說明

點擊查看詳情

新的可用方法如下：

• GGML_TYPE_Q2_K：“type-1” 2位量化，超級塊包含16個塊，每個塊有16個權重。塊的縮放和最小值用4位量化，最終每個權重有效使用2.5625位（bpw）。
• GGML_TYPE_Q3_K：“type-0” 3位量化，超級塊包含16個塊，每個塊有16個權重。縮放用6位量化，最終使用3.4375 bpw。
• GGML_TYPE_Q4_K：“type-1” 4位量化，超級塊包含8個塊，每個塊有32個權重。縮放和最小值用6位量化，最終使用4.5 bpw。
• GGML_TYPE_Q5_K：“type-1” 5位量化，與GGML_TYPE_Q4_K具有相同的超級塊結構，最終使用5.5 bpw。
• GGML_TYPE_Q6_K：“type-0” 6位量化，超級塊有16個塊，每個塊有16個權重。縮放用8位量化，最終使用6.5625 bpw。

請參考下面的“提供的文件”表，瞭解哪些文件使用了哪些方法以及如何使用。

提供的文件

名稱	量化方法	位數	大小	所需最大RAM	使用場景
japanese-stablelm-instruct-gamma-7b.Q2_K.gguf	Q2_K	2	3.08 GB	5.58 GB	最小，但質量損失顯著，不建議用於大多數用途
japanese-stablelm-instruct-gamma-7b.Q3_K_S.gguf	Q3_K_S	3	3.16 GB	5.66 GB	非常小，但質量損失高
japanese-stablelm-instruct-gamma-7b.Q3_K_M.gguf	Q3_K_M	3	3.52 GB	6.02 GB	非常小，但質量損失高
japanese-stablelm-instruct-gamma-7b.Q3_K_L.gguf	Q3_K_L	3	3.82 GB	6.32 GB	小，但質量損失較大
japanese-stablelm-instruct-gamma-7b.Q4_0.gguf	Q4_0	4	4.11 GB	6.61 GB	舊版本；小，但質量損失非常高，建議使用Q3_K_M
japanese-stablelm-instruct-gamma-7b.Q4_K_S.gguf	Q4_K_S	4	4.14 GB	6.64 GB	小，但質量損失較大
japanese-stablelm-instruct-gamma-7b.Q4_K_M.gguf	Q4_K_M	4	4.37 GB	6.87 GB	中等，質量平衡，推薦使用
japanese-stablelm-instruct-gamma-7b.Q5_0.gguf	Q5_0	5	5.00 GB	7.50 GB	舊版本；中等，質量平衡，建議使用Q4_K_M
japanese-stablelm-instruct-gamma-7b.Q5_K_S.gguf	Q5_K_S	5	5.00 GB	7.50 GB	大，質量損失低，推薦使用
japanese-stablelm-instruct-gamma-7b.Q5_K_M.gguf	Q5_K_M	5	5.13 GB	7.63 GB	大，質量損失非常低，推薦使用
japanese-stablelm-instruct-gamma-7b.Q6_K.gguf	Q6_K	6	5.94 GB	8.44 GB	非常大，質量損失極低
japanese-stablelm-instruct-gamma-7b.Q8_0.gguf	Q8_0	8	7.70 GB	10.20 GB	非常大，質量損失極低，但不建議使用

注意：上述RAM數字假設沒有進行GPU卸載。如果將層卸載到GPU，將減少RAM使用並使用VRAM代替。

🔧 技術細節

模型詳情

屬性	詳情
模型創建者	Stability AI
模型類型	基於Transformer解碼器架構的自迴歸語言模型
語言	日語
許可證	Apache License, Version 2.0
聯繫信息	有關模型的問題和評論，請加入 Stable Community Japan。有關Stability AI模型、研究和活動的未來公告/信息，請關注 https://twitter.com/StabilityAI_JP。

模型架構

詳細信息請參閱Mistral AI的 論文 和 發佈博客文章。

訓練數據集

• Databricks Dolly-15k數據集的日語翻譯
• Anthropic HH數據集子集的日語翻譯
• Wikinews 子集 of the izumi-lab/llm-japanese-dataset

使用和限制

預期用途

該模型旨在供所有個人用作特定應用微調的基礎模型，對商業使用沒有嚴格限制。

限制和偏差

預訓練數據集即使在應用數據清理過濾器後仍可能包含冒犯性或不適當的內容，這可能會反映在模型生成的文本中。建議用戶在生產系統中使用這些模型時保持合理的謹慎。不要將模型用於可能對個人或群體造成傷害或困擾的任何應用。

致謝

本模型基於Mistral AI團隊發佈的Mistral-7B-v0.1。感謝Mistral AI團隊提供如此出色的基礎模型。

感謝EleutherAI Polyglot-JA團隊的貢獻，他們幫助我們收集了大量的日語預訓練數據。Polyglot-JA成員包括Hyunwoong Ko（項目負責人）、Fujiki Nakamura（最初在他加入Polyglot團隊時啟動了這個項目）、Yunho Mo、Minji Jung、KeunSeok Im和Su-Kyeong Jang。

感謝 AI Novelist/Sta (Bit192, Inc.) 和 Stable Community Japan 的眾多貢獻者，他們幫助我們收集了大量高質量的日語文本數據用於模型訓練。

📄 許可證

本模型遵循 Apache License, Version 2.0。

🔗 社區與支持

Discord

如需進一步支持以及討論這些模型和AI相關內容，請加入 TheBloke AI的Discord服務器。

貢獻與感謝

感謝 chirper.ai 團隊！感謝 gpus.llm-utils.org 的Clay！

許多人詢問是否可以提供貢獻。我很樂意提供模型並幫助他人，也希望能夠花更多時間做這些事情，並擴展到新的項目（如微調/訓練）。

如果您有能力並願意提供貢獻，我將非常感激，這將幫助我繼續提供更多模型，並開始新的AI項目。捐贈者將在任何AI/LLM/模型問題和請求上獲得優先支持，訪問私人Discord房間以及其他福利。

• Patreon: https://patreon.com/TheBlokeAI
• Ko-Fi: https://ko-fi.com/TheBlokeAI

特別感謝：Aemon Algiz。

Patreon特別提及：Brandon Frisco、LangChain4j、Spiking Neurons AB、transmissions 11、Joseph William Delisle、Nitin Borwankar、Willem Michiel、Michael Dempsey、vamX、Jeffrey Morgan、zynix、jjj、Omer Bin Jawed、Sean Connelly、jinyuan sun、Jeromy Smith、Shadi、Pawan Osman、Chadd、Elijah Stavena、Illia Dulskyi、Sebastain Graf、Stephen Murray、terasurfer、Edmond Seymore、Celu Ramasamy、Mandus、Alex、biorpg、Ajan Kanaga、Clay Pascal、Raven Klaugh、阿明、K、ya boyyy、usrbinkat、Alicia Loh、John Villwock、ReadyPlayerEmma、Chris Smitley、Cap'n Zoog、fincy、GodLy、S_X、sidney chen、Cory Kujawski、OG、Mano Prime、AzureBlack、Pieter、Kalila、Spencer Kim、Tom X Nguyen、Stanislav Ovsiannikov、Michael Levine、Andrey、Trailburnt、Vadim、Enrico Ros、Talal Aujan、Brandon Phillips、Jack West、Eugene Pentland、Michael Davis、Will Dee、webtim、Jonathan Leane、Alps Aficionado、Rooh Singh、Tiffany J. Kim、theTransient、Luke @flexchar、Elle、Caitlyn Gatomon、Ari Malik、subjectnull、Johann-Peter Hartmann、Trenton Dambrowitz、Imad Khwaja、Asp the Wyvern、Emad Mostaque、Rainer Wilmers、Alexandros Triantafyllidis、Nicholas、Pedro Madruga、SuperWojo、Harry Royden McLaughlin、James Bentley、Olakabola、David Ziegler、Ai Maven、Jeff Scroggin、Nikolai Manek、Deo Leter、Matthew Berman、Fen Risland、Ken Nordquist、Manuel Alberto Morcote、Luke Pendergrass、TL、Fred von Graf、Randy H、Dan Guido、NimbleBox.ai、Vitor Caleffi、Gabriel Tamborski、knownsqashed、Lone Striker、Erik Bjäreholt、John Detwiler、Leonard Tan、Iucharbius

感謝所有慷慨的贊助者和捐贈者！再次感謝a16z的慷慨資助。