Ruadaptqwen2.5 7B Lite Beta GGUF

🚀 俄語適配版Qwen2.5模型

本項目是對T-lite-it-1.0模型進行俄語適配，通過更換分詞器、在俄語語料庫上進行繼續預訓練以及應用LEP技術，提升了俄語文本的生成速度。同時，模型在多個評估指標上進行了測試。

🚀 快速開始

你可以在以下Space中嘗試使用該模型（在下方參數中選擇模型）： 點擊嘗試

✨ 主要特性

• GGUF版本：當前版本為v1，仍在開發中。
• 俄語適配：將T-lite-it-1.0模型適配到俄語，更換了分詞器並進行繼續預訓練。
• 速度提升：使用新的分詞器（通過4.8萬個標記的單字分詞器擴展的tiktoken cl100k），俄語文本生成速度比原始T-lite-it-1.0模型提高了60%。

📚 詳細文檔

數據集

• IlyaGusev/saiga_scored
• IlyaGusev/saiga_preferences
• dichspace/darulm

語言

俄語

任務類型

文本生成

基礎模型

• Qwen/Qwen2.5 - 7B
• t-tech/T-lite-it-1.0

許可證

apache - 2.0

🔧 技術細節

分詞器替換與訓練

在模型中替換了分詞器，然後在俄語語料庫上進行繼續預訓練（Continued pretraining），之後應用了LEP（Learned Embedding Propagation）技術。

生成速度說明

這裡的生成速度是指在相同文本序列上，每秒生成的俄語字符/單詞數量。

📊 指標與質量評估

模型在Ru - Arena - General、MERA、llmtf_open等指標上進行了評估。

Ru - Arena - General評估結果

使用排行榜的官方代碼（點擊查看）進行測量，但設置repetition_penalty = 1.1。

Shlepa評估結果

MERA評估結果

llmtf_open評估結果

待補充

分詞可視化

📄 引用說明

• Tikhomirov M., Chernyshov D. Facilitating Large Language Model Russian Adaptation with Learned Embedding Propagation //Journal of Language and Education. – 2024. – Т. 10. – №. 4. – С. 130 - 145.
• Tikhomirov M., Chernyshev D. Impact of Tokenization on LLaMa Russian Adaptation //2023 Ivannikov Ispras Open Conference (ISPRAS). – IEEE, 2023. – С. 163 - 168.

⚠️ 重要提示

模型的回答並不反映作者的觀點，只是重複了在所有訓練階段（預訓練、更換分詞器、指令訓練、答案質量校準）從數據中獲得的知識。該模型是從第三方預訓練模型獲得的，預訓練的控制權 不在當前作者的責任範圍內。在創建此版本模型時，沒有進行任何旨在改變大語言模型固有“觀點”的額外操作。請謹慎使用。