Ruadaptqwen2.5 32B Pro Beta

🚀 俄羅斯語適配模型項目

本項目是對模型進行俄語適配的成果，通過更換分詞器、在俄語語料庫上繼續預訓練以及應用LEP技術，提升了俄語文本的生成速度，為俄語自然語言處理提供了新的解決方案。

🚀 快速開始

你可以在以下Space中嘗試使用該模型（在下方參數中選擇模型）： 點擊嘗試

✨ 主要特性

• 語言適配：將T-pro-it-1.0模型適配到俄語，更換了分詞器並在俄語語料庫上進行繼續預訓練。
• 生成速度提升：採用新的分詞器（通過4.8萬個標記的單字分詞器擴展的tiktoken cl100k），俄語文本生成速度比原始T-pro-it-1.0模型提高了60%。

📚 詳細文檔

模型描述

當前版本為v1.0，仍在開發中。該模型是T-pro-it-1.0模型的俄語適配版本。具體步驟為：首先更換了模型的分詞器，然後在俄語語料庫上進行繼續預訓練（Continued pretraining），最後應用了LEP（Learned Embedding Propagation）技術。

由於採用了新的分詞器（通過4.8萬個標記的單字分詞器擴展的tiktoken cl100k），與原始的T-pro-it-1.0模型相比，俄語文本的生成速度*提高了60%。

*生成速度是指在相同文本序列上每秒生成的俄語字符/單詞數量。

分詞示例

指標和質量評估

模型在Ru-Arena-General、MERA、llmtf_open上進行了評估。

Ru-Arena-General評估結果

使用排行榜的官方代碼（點擊查看）進行測量，但設置repetition_penalty=1.1。

MERA評估結果

待更新。

llmtf_open評估結果

待更新。

引用信息

• Tikhomirov M., Chernyshov D. Facilitating Large Language Model Russian Adaptation with Learned Embedding Propagation //Journal of Language and Education. – 2024. – Т. 10. – №. 4. – С. 130-145.
• Tikhomirov M., Chernyshev D. Impact of Tokenization on LLaMa Russian Adaptation //2023 Ivannikov Ispras Open Conference (ISPRAS). – IEEE, 2023. – С. 163-168.

重要提示

模型的回答並不反映作者的觀點，只是重複了在所有訓練階段（預訓練、更換分詞器、指令訓練、答案質量校準）從數據中獲得的知識。該模型是從第三方預訓練模型中獲得的，預訓練的控制並非當前作者的責任。在創建此版本的模型時，沒有進行任何旨在改變大語言模型中固有“觀點”的額外操作。請謹慎使用。

📄 許可證

本項目採用Apache 2.0許可證。

📦 數據集和基礎模型