Lingshu 32B GGUF

🚀 Lingshu-32B GGUF模型

Lingshu-32B GGUF模型是適用於醫療領域的多模態大語言模型，支持多種醫學影像模態，在醫療問答和報告生成任務上表現出色。

🚀 快速開始

本項目包含論文 Lingshu: A Generalist Foundation Model for Unified Multimodal Medical Understanding and Reasoning 中的模型。同時，我們還在 MedEvalKit 中發佈了一個全面的醫學評估工具包，支持對主要多模態和文本醫學任務進行快速評估。

點擊此處獲取選擇合適GGUF模型格式的相關信息。

官網    🤖 7B模型    🤖 32B模型    MedEvalKit    技術報告

✨ 主要特性

• Lingshu 模型在7B和32B模型規模的大多數醫學多模態/文本問答和報告生成任務中達到了當前最優水平（SOTA）。
• Lingshu-32B 在大多數多模態問答和報告生成任務中表現優於GPT - 4.1和Claude Sonnet 4。
• Lingshu支持超過12種醫學影像模態，包括X光、CT掃描、MRI、顯微鏡檢查、超聲、組織病理學、皮膚鏡檢查、眼底、OCT、數碼攝影、內窺鏡檢查和PET。

📚 詳細文檔

模型生成詳情

該模型使用 llama.cpp 在提交版本 238005c2 時生成。

超越IMatrix的量化

我一直在嘗試一種新的量化方法，該方法有選擇地提高關鍵層的精度，超越了默認IMatrix配置所提供的精度。

在我的測試中，標準IMatrix量化在較低比特深度下表現不佳，尤其是對於專家混合（MoE）模型。為了解決這個問題，我使用 llama.cpp 中的 --tensor-type 選項手動將重要層的精度提高。你可以在這裡看到具體實現。

雖然這確實會增加模型文件的大小，但它顯著提高了給定量化級別的精度。

反饋徵集

我很希望得到你的反饋，你是否嘗試過這種方法？它對你來說效果如何？

模型發佈

• 技術報告：Arxiv: Lingshu: A Generalist Foundation Model for Unified Multimodal Medical Understanding and Reasoning
• 模型權重：
  • Lingshu-7B
  • Lingshu-32B

免責聲明

我們必須指出，儘管模型權重、代碼和演示以開放方式發佈，但與其他預訓練語言模型類似，儘管我們在紅隊測試、安全微調及執行方面已盡最大努力，但我們的模型仍存在潛在風險，包括但不限於不準確、誤導性或潛在有害的生成內容。

開發者和利益相關者在部署前應進行自己的紅隊測試並提供相關安全措施，並且必須遵守當地的管理規定和法規。

在任何情況下，作者均不對因使用發佈的權重、代碼或演示而產生的任何索賠、損害或其他責任負責。

評估

醫學多模態視覺問答（VQA）

醫學文本問答

醫學報告生成

📄 許可證

本項目採用MIT許可證。