Ruadaptqwen2.5 7B Lite Beta

🚀 モデルの概要

このモデルは、T-lite-it-1.0 モデルをロシア語に適応させたものです。現在は開発中で、バージョンは v1 です。モデル内のトークナイザーを置き換え、ロシア語コーパスで追加学習（Continued pretraining）を行い、LEP（Learned Embedding Propagation）技術を適用しています。新しいトークナイザー（48 万トークンのユニグラムトークナイザーで拡張された tiktoken cl100k）により、ロシア語テキストの生成速度*が元の T-lite-it-1.0 モデルと比較して最大 60%向上しています。

*生成速度とは、同じテキストシーケンスにおける毎秒のロシア語の文字/単語数を指します。

✨ 主な機能

• ロシア語への適応: T-lite-it-1.0 モデルをロシア語に最適化。
• 高速な生成速度: 新しいトークナイザーにより、ロシア語テキストの生成速度が向上。

📦 データセットとベースモデル

データセット

• IlyaGusev/saiga_scored
• IlyaGusev/saiga_preferences
• dichspace/darulm

ベースモデル

• Qwen/Qwen2.5-7B
• t-tech/T-lite-it-1.0

その他情報

💻 使用例

モデルの試用

このモデルは、以下のSpaceで試すことができます（下部のモデル選択パラメーターで選択）。 試用する

📚 詳細ドキュメント

トークナイゼーション

メトリクスと品質評価

モデルは、Ru-Arena-General、MERA、llmtf_open で評価されました。

Ru-Arena-General の結果

測定は、リーダーボードの公式コード（GitHub）を使用し、repetition_penalty=1.1 で行われました。

Shlepa の結果

MERA の結果

llmtf_open の結果

TODO

引用情報

• Tikhomirov M., Chernyshov D. Facilitating Large Language Model Russian Adaptation with Learned Embedding Propagation //Journal of Language and Education. – 2024. – Vol. 10. – No. 4. – Pp. 130-145.
• Tikhomirov M., Chernyshev D. Impact of Tokenization on LLaMa Russian Adaptation //2023 Ivannikov Ispras Open Conference (ISPRAS). – IEEE, 2023. – Pp. 163-168.

📄 ライセンス

このモデルは、apache-2.0 ライセンスの下で提供されています。

⚠️ 注意事項

モデルの回答は、著者の意見を反映するものではなく、学習データ（事前学習、トークナイザーの変更、命令に基づく学習、回答品質のキャリブレーション）から得られた知識を反映しています。このモデルは外部の事前学習モデルから派生しており、事前学習の管理は現在の著者の責任ではありません。このバージョンのモデルを作成する際に、LLMに組み込まれた「意見」を変更するための追加の操作は行われていません。使用する際は注意してください。