Mellum 4b Sft Rust GGUF

🚀 Etherll/Mellum-4b-sft-rust

Etherll/Mellum-4b-sft-rust 是一個專門針對 Rust 代碼中間填充（Fill-in-the-Middle，FIM） 任務進行微調的大語言模型（LLM）。它基於 JetBrains/Mellum-4b-base 模型構建。該模型在 Etherll/CodeFIM-Rust-Mellum 數據集上進行了微調，該數據集包含約 57,000 個特定於 Rust 的 FIM 示例，以提高其在準確且符合上下文的情況下完成 Rust 代碼片段的能力。此外，還提供了用於 CPU 推理的 GGUF 版本：Etherll/Mellum-4b-sft-rust-GGUF。

🚀 快速開始

本模型可用於 Rust 代碼的中間填充任務，你可以通過 Continue.dev 或 GGUF 版本進行使用。

✨ 主要特性

• 專為 Rust 定製：針對 Rust 語言的中間填充任務進行了優化。
• 基於 Mellum-4b-base：受益於 JetBrains 強大的基礎模型。
• 高效實用：適用於雲端和本地部署。
• 支持 IDE 集成：專為開發者工具設計，與 Continue.dev 配合使用時，能提供更出色的編碼輔助體驗。

📦 安裝指南

文檔未提及具體安裝步驟，可參考以下使用方式進行操作。

💻 使用示例

基礎用法

本模型在進行中間填充任務時，需要使用特定的輸入格式：

<filename>{{{filename}}}
<fim_suffix>{{{suffix_code}}}<fim_prefix>{{{prefix_code}}}<fim_middle>

高級用法

使用 Continue.dev

為了獲得最佳的集成開發體驗，強烈建議將此模型與 Continue.dev 結合使用。具體添加自定義大語言模型的操作，請參考 Continue.dev 文檔。

使用 GGUF 版本

GGUF 版本可在 Etherll/Mellum-4b-sft-rust-GGUF 獲取。該格式適用於使用以下工具在 CPU（以及通過適當的 llama.cpp/Ollama 構建在 GPU 上）進行本地推理：

• llama.cpp
• Ollama
• LM Studio

📚 詳細文檔

模型描述

此模型利用了 Mellum-4b-base 的 LLaMA 風格架構（40 億參數）及其在超過 4 萬億個標記上的廣泛預訓練。微調過程著重於使模型適應 Rust 語法的細微差別和 FIM 任務中的常見編碼模式。

微調數據

📄 許可證

本模型採用 apache-2.0 許可證。

🔗 支持與社區

如果你需要任何幫助、有疑問或只是想交流，請隨時在 Discord 上聯繫我：etherl。