Qwen Ai Research Qa Q4 K M.gguf

🚀 Qwen AI研究問答模型 (Q4_K_M GGUF)

Qwen AI研究問答模型旨在精準、深入地回答與人工智能研究相關的問題。該模型採用Q4_K_M格式進行優化，在保證回答質量的同時，實現高效推理。

🚀 快速開始

📦 安裝指南

若要使用llama-cpp-python庫來運行此模型，需先確保已安裝該庫，可使用以下命令進行安裝：

pip install llama-cpp-python

💻 使用示例

基礎用法

以下是加載模型的代碼示例：

from llama_cpp import Llama

llm = Llama.from_pretrained(
    repo_id="InduwaraR/qwen-ai-research-qa-q4_k_m.gguf",
    filename="qwen-ai-research-qa-q4_k_m.gguf",
)

高級用法

以下代碼展示瞭如何使用加載好的模型生成回答：

response = llm.create_chat_completion(
    messages=[
        {"role": "user", "content": "What are the latest advancements in AI research?"}
    ]
)
print(response)

📚 詳細文檔

🔧 技術細節

📄 許可證

該模型為開源模型，採用MIT許可證。

致謝

此模型由InduwaraR託管在Hugging Face上。特別感謝Qwen AI團隊對人工智能研究與開發所做出的貢獻。