Smollm2 135M Eagle

🚀 SmolLM2-135M-Eagle

SmolLM2-135M-Eagle 是基於 SmolLM2-135M 模型，在 EagleSFT 數據集上進行微調得到的版本。該模型旨在提升在俄語和英語語言任務中的能力。

此模型的 GGUF 版本可在以下鏈接獲取：SmolLM2-135M-Eagle-GGUF

📚 詳細文檔

模型描述

SmolLM2-135M-Eagle 是一個輕量級語言模型，經過專門微調以處理雙語內容。這種微調擴展了基礎模型的能力，使其在保持英語能力的同時，能更好地理解和生成俄語內容。

基礎模型

該模型基於 SmolLM2-135M 構建，這是一個擁有 1.35 億參數的緊湊型語言模型，在性能和資源需求之間取得了良好的平衡。

微調細節

數據集

該模型在 EagleSFT 數據集上進行了微調，該數據集包含 536,231 對人類問題和機器生成的俄語及英語響應。數據集主要聚焦於教育內容，但也包括日常問題和隨意對話。

環境影響

• 訓練時長：總計 26 小時 26 分鐘
  • 俄羅斯秋明：15 小時 19 分鐘 52 秒（功耗 300 瓦）
  • 俄羅斯聖彼得堡：11 小時 6 分鐘 8 秒（功耗 360 瓦）
• 硬件：1 塊 RTX 4090 GPU
• 碳排放：約 3.11 千克二氧化碳當量
  • 根據這些地區的平均功耗和平均每千瓦時二氧化碳當量（350 克）計算得出
  • 秋明：300 瓦 * 15.33 小時 * 350 克/千瓦時 = 1.61 千克二氧化碳當量
  • 聖彼得堡：360 瓦 * 11.10 小時 * 350 克/千瓦時 = 1.50 千克二氧化碳當量

訓練參數

• 訓練方法：監督微調（SFT）
• 訓練輪數：2
• 學習率：3.0e - 04
• 精度：bfloat16

侷限性與能力

需要注意的是，該模型沒有經過預訓練，僅在相對較少的令牌上進行了監督微調。這意味著與英語能力相比，該模型在回答俄語問題時所依賴的數據量有限。

儘管存在諸多限制，但該模型在以下方面有輕微提升：

• 基本識別俄語提示（儘管經常出現誤解）
• 處理格式為“{俄語問題}，英文回答”的簡單任務
• 從俄語到英語的基本翻譯（儘管質量仍然較差）

該模型對俄語的有限理解僅來自監督微調過程，沒有使用俄語文本語料庫進行適當的預訓練，導致其能力嚴重受限。

實驗性能力

該模型展示了一些實驗性能力，但存在顯著限制：

• 基本的俄語文本理解（經常出現錯誤和誤解）
• 有限的俄語問答能力（質量遠低於英語）
• 基本的俄語到英語翻譯（比英語到俄語翻譯效果好）

侷限性

• 不適合生產環境使用：該模型不得以任何形式用於生產環境。
• 由於缺乏俄語文本預訓練，俄語知識庫極其有限。
• 俄語分詞器性能未優化，導致分詞使用效率低下。
• 對於大多數用例，俄語輸出質量將不盡人意。
• 可能會產生不準確、不一致或不恰當的響應，尤其是在處理俄語時。
• 基礎 SmolLM2-135M 模型的所有侷限性仍然適用。

📄 許可證

本模型採用 Apache-2.0 許可證。

📦 模型信息