RuadaptQwen2.5-32B-Pro-Betaオープンソースモデル - ロシア語のテキスト生成を加速し、ロシア語の自然言語処理を支援します

ホーム

Ruadaptqwen2.5 32B Pro Beta

RefalMachineによって開発

このプロジェクトは、モデルをロシア語に適合させた成果であり、形態素解析器を交換し、ロシア語コーパスでの事前学習を続け、LEP技術を適用することで、ロシア語テキストの生成速度を向上させ、ロシア語の自然言語処理に新しい解決策を提供します。

大規模言語モデル

Safetensors

オープンソースライセンス:Apache-2.0 #ロシア語最適化 #形態素解析器の高速化 #LEP技術

ダウンロード数 2,913

リリース時間 : 1/19/2025

モデル概要

このモデルはT - pro - it - 1.0モデルのロシア語適合バージョンであり、形態素解析器を交換し、ロシア語コーパスでの事前学習を続けることで、ロシア語テキストの生成速度を大幅に向上させました。

モデル特徴

言語適合化

T - pro - it - 1.0モデルをロシア語に適合させ、形態素解析器を交換し、ロシア語コーパスでの事前学習を続けました。

生成速度の向上

新しい形態素解析器（4.8万個のトークンの単語形態素解析器で拡張されたtiktoken cl100k）を採用し、ロシア語テキストの生成速度が元のT - pro - it - 1.0モデルより60％向上しました。

LEP技術の適用

LEP（Learned Embedding Propagation）技術を適用してモデルの性能を最適化しました。

モデル能力

ロシア語テキスト生成

自然言語処理

言語モデルの適合化

使用事例

ロシア語自然言語処理

ロシア語テキスト生成

高品質のロシア語テキストコンテンツの生成に使用

生成速度が元のモデルより60％向上

ロシア語NLPアプリケーション

様々なロシア語自然言語処理タスクをサポート

🚀 モデルの概要

このモデルは、T-pro-it-1.0 モデルをロシア語に適応させたものです。モデルのトークナイザーを置き換え、ロシア語コーパスで追加学習（Continued pretraining）を行った後、LEP（Learned Embedding Propagation）技術を適用しています。新しいトークナイザー（48,000 トークンのユニグラムトークナイザーで拡張された tiktoken cl100k）により、ロシア語テキストの生成速度*は、元の T-pro-it-1.0 モデルと比較して最大 60% 向上しています。

*生成速度とは、同じテキストシーケンスでの毎秒のロシア語文字/単語数を指します。

🚀 クイックスタート

モデルの試用

このモデルは、以下のSpaceで試すことができます（下部のモデル選択パラメーターを参照）。 https://huggingface.co/spaces/RefalMachine/RuadaptQwen2.5

✨ 主な機能

データセット

IlyaGusev/saiga_scored
IlyaGusev/saiga_preferences
dichspace/darulm

言語

パイプラインタグ

text-generation

ライセンス

apache-2.0

ベースモデル

Qwen/Qwen2.5-32B
t-tech/T-pro-it-1.0

📚 ドキュメント

トークン化

image/png

メトリクスと品質評価

Ru-Arena-General での結果

測定は、公式のリーダーボードコード（https://github.com/VikhrModels/ru_llm_arena）を使用して行われましたが、repetition_penalty=1.1 です。 image/png

MERA での結果

TODO

llmtf_open での結果

TODO

引用方法

Tikhomirov M., Chernyshov D. Facilitating Large Language Model Russian Adaptation with Learned Embedding Propagation //Journal of Language and Education. – 2024. – Т. 10. – №. 4. – С. 130-145. Tikhomirov M., Chernyshev D. Impact of Tokenization on LLaMa Russian Adaptation //2023 Ivannikov Ispras Open Conference (ISPRAS). – IEEE, 2023. – С. 163-168.

🔧 技術詳細

現在のバージョンは v1 で、開発中です。

📄 ライセンス

apache-2.0

⚠️ 重要提示

モデルの回答は、著者の意見を反映するものではなく、学習のすべての段階（事前学習、トークナイザーの変更、命令に基づく学習、回答品質のキャリブレーション）でデータから取得した知識を繰り返すだけです。このモデルは外部の事前学習済みモデルから取得されたもので、事前学習の管理は現在の著者の責任ではありません。このバージョンのモデルを作成する際には、LLMに組み込まれた「意見」を変更するための追加のアクションは一切行われていません。注意して使用してください。