Medical Summarization Q4 0 GGUF

🚀 医疗摘要模型 - fernandoruiz/medical_summarization-Q4_0-GGUF

本项目的模型是从 Falconsai/medical_summarization 转换为 GGUF 格式的，使用 llama.cpp 通过 ggml.ai 的 GGUF-my-repo 空间完成转换。该模型主要用于医疗文本的摘要生成，为医疗领域的信息处理提供了高效的解决方案。

🚀 快速开始

与 llama.cpp 结合使用

安装 llama.cpp

可以通过 brew（适用于 Mac 和 Linux）来安装 llama.cpp：

brew install llama.cpp

调用 llama.cpp 服务器或 CLI

• CLI 方式：

llama-cli --hf-repo fernandoruiz/medical_summarization-Q4_0-GGUF --hf-file medical_summarization-q4_0.gguf -p "The meaning to life and the universe is"

• 服务器方式：

llama-server --hf-repo fernandoruiz/medical_summarization-Q4_0-GGUF --hf-file medical_summarization-q4_0.gguf -c 2048

另一种使用方式

步骤 1：从 GitHub 克隆 llama.cpp

git clone https://github.com/ggerganov/llama.cpp

步骤 2：进入 llama.cpp 文件夹并编译

使用 LLAMA_CURL=1 标志以及其他特定硬件标志（例如，在 Linux 上使用 Nvidia GPU 时使用 LLAMA_CUDA=1）进行编译：

cd llama.cpp && LLAMA_CURL=1 make

步骤 3：通过主二进制文件运行推理

• CLI 方式：

./llama-cli --hf-repo fernandoruiz/medical_summarization-Q4_0-GGUF --hf-file medical_summarization-q4_0.gguf -p "The meaning to life and the universe is"

• 服务器方式：

./llama-server --hf-repo fernandoruiz/medical_summarization-Q4_0-GGUF --hf-file medical_summarization-q4_0.gguf -c 2048

📚 详细文档

本模型是从 Falconsai/medical_summarization 转换而来的，更多关于该模型的详细信息，请参考 原始模型卡片。

📄 许可证

本项目采用 Apache-2.0 许可证。