Ruadaptqwen2.5 32B Instruct

🚀 俄語適配版Qwen2.5-32B模型

本項目是將Qwen2.5-32B模型適配為俄語的指令型版本。通過更換分詞器、在俄語語料庫上繼續預訓練以及應用LEP技術，顯著提升了俄語文本的生成速度。

🚀 快速開始

你可以在以下Space中體驗該模型： 點擊體驗

✨ 主要特性

• 指令型適配：將Qwen2.5-32B模型適配為俄語指令型版本。
• 分詞器更換：使用擴展的tiktoken cl100k分詞器（通過48k的unigram分詞器擴展），使俄語文本生成速度比原始的Qwen-2.5-32B-Instruct模型提高了60%。
• 技術應用：應用了LEP（Learned Embedding Propagation）技術。

📦 數據集

• IlyaGusev/saiga_scored
• IlyaGusev/saiga_preferences
• dichspace/darulm

📚 詳細文檔

模型描述

當前版本為v1，仍在開發中。這是一個適配俄語的指令型Qwen2.5-32B模型。具體步驟為：先更換分詞器，然後在俄語語料庫上進行繼續預訓練（Continued pretraining），最後應用LEP技術（相關論文即將發佈）。

由於採用了新的分詞器（擴展的tiktoken cl100k，通過48k的unigram分詞器擴展），俄語文本的生成速度*相比原始的Qwen-2.5-32B-Instruct模型提高了60%。

*生成速度指在相同文本序列上每秒生成的俄語字符/單詞數量。

分詞可視化

指標和質量評估

模型在Ru-Arena-General、MERA、llmtf_open上進行了評估。

Ru-Arena-General評估結果

使用排行榜的官方代碼（代碼鏈接）進行測量，但設置repetition_penalty=1.1。

MERA評估結果

為了在MERA上提交結果，準備了一個自定義的系統提示，以減輕代碼任務評估中的不足。為了進行比較，還使用相同的系統提示提交了原始模型的結果。

llmtf_open評估結果

待更新。

引用方式

• Tikhomirov M., Chernyshev D. Facilitating large language model Russian adaptation with Learned Embedding Propagation // 2024 (Preprint: 預印本鏈接)
• Tikhomirov M., Chernyshev D. Impact of Tokenization on LLaMa Russian Adaptation //2023 Ivannikov Ispras Open Conference (ISPRAS). – IEEE, 2023. – С. 163-168.

⚠️ 重要提示

模型的回答並不反映作者的觀點，只是重複了在所有訓練階段（預訓練、更換分詞器、指令訓練、答案質量校準）從數據中獲得的知識。該模型是從第三方預訓練模型中獲得的，預訓練的控制權 不屬於當前作者。在創建此版本的模型時，沒有進行任何旨在改變大語言模型中固有“觀點”的額外操作。請謹慎使用。

📄 許可證

本項目採用Apache 2.0許可證。