Ruadaptqwen2.5 32B Instruct

🚀 RuadaptQwen2.5 モデル

このモデルは、ロシア語に適応させたQwen2.5 - 32Bの指示型バージョンです。新しいトークナイザーを採用し、ロシア語コーパスでの追加学習を行い、LEP技術を適用することで、ロシア語テキストの生成速度を大幅に向上させています。

🚀 クイックスタート

データセット

• IlyaGusev/saiga_scored
• IlyaGusev/saiga_preferences
• dichspace/darulm

言語

• ru

パイプラインタグ

text-generation

ライセンス

apache - 2.0

✨ 主な機能

モデル概要

現在のバージョンはv1で、開発中です。このモデルは、Qwen2.5 - 32Bをベースに、ロシア語に適応させた指示型バージョンです。トークナイザーを置き換え、ロシア語コーパスで追加学習（Continued pretraining）を行い、LEP（Learned Embedding Propagation、論文は近日公開予定）技術を適用しています。

新しいトークナイザー（48万トークンのユニグラムトークナイザーで拡張されたtiktoken cl100k）により、元のQwen - 2.5 - 32B - Instructモデルと比較して、ロシア語テキストの生成速度*が最大60％向上しています。

*生成速度とは、同じテキストシーケンスでの毎秒のロシア語文字/単語数を指します。

試用方法

このモデルは、Hugging FaceのSpaceで試すことができます（下部のモデル選択パラメーター参照）。 Spaceリンク

トークナイゼーション

メトリクスと品質評価

このモデルは、Ru - Arena - General、MERA、llmtf_openで評価されています。

Ru - Arena - Generalでの結果

測定は、公式のリーダーボードコード（GitHubリンク）を使用して行われましたが、repetition_penalty = 1.1です。

MERAでの結果

MERAへの提出には、コード課題の評価の欠点を緩和するカスタムシステムプロンプトが用意されました。比較のため、同じシステムプロンプトを使用して元のモデルも提出されました。

llmtf_openでの結果

TODO

📚 ドキュメント

引用方法

• Tikhomirov M., Chernyshev D. Facilitating large language model Russian adaptation with Learned Embedding Propagation // 2024 (Preprint: arXivリンク)
• Tikhomirov M., Chernyshev D. Impact of Tokenization on LLaMa Russian Adaptation //2023 Ivannikov Ispras Open Conference (ISPRAS). – IEEE, 2023. – С. 163 - 168.

📄 ライセンス

apache - 2.0

🔧 注意事項

モデルの回答は、著者の意見を反映するものではなく、すべての学習段階（事前学習、トークナイザーの変更、指示に基づく学習、回答品質のキャリブレーション）でデータから得られた知識を繰り返すだけです。このモデルは外部の事前学習モデルから取得されたもので、事前学習の管理は現在の著者の責任ではありません。このバージョンのモデルを作成する際に、LLMに組み込まれた「意見」を変更するための追加のアクションは一切行われていません。注意して使用してください。