Rugpt 3.5 13B

🗿 ruGPT-3.5 13B

ロシア語用の言語モデル。名前から推測できるように、このモデルは130億個のパラメータを持っています。これはこれまでの中で最大のモデルで、GigaChatのトレーニングに使用されました（詳細はこの記事を参照）。

🚀 クイックスタート

ruGPT-3.5 13Bは、ロシア語用の言語モデルで、Transformerアーキテクチャに基づいています。このモデルは、大規模なデータセットでトレーニングされており、様々な自然言語処理タスクで高い性能を発揮します。

✨ 主な機能

• ロシア語に特化した言語モデルで、高品質なロシア語テキスト生成が可能。
• 300Bトークンのデータセットでトレーニングされ、幅広いドメインの知識を持つ。
• 異なる生成戦略を使用して、最適な結果を得ることができる。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

request = "Стих про программиста может быть таким:"

encoded_input = tokenizer(request, return_tensors='pt', \
                          add_special_tokens=False).to('cuda:0')
output = model.generate(
    **encoded_input,
    num_beams=2,
    do_sample=True,
    max_new_tokens=100
)

print(tokenizer.decode(output[0], skip_special_tokens=True))

高度な使用法

request = "Нейронная сеть — это"

encoded_input = tokenizer(request, return_tensors='pt', \
                          add_special_tokens=False).to('cuda:0')
output = model.generate(
    **encoded_input,
    num_beams=4,
    do_sample=True,
    max_new_tokens=100
)

print(tokenizer.decode(output[0], skip_special_tokens=True))

📚 ドキュメント

データセット

このモデルは、300GBの様々なドメインのデータで事前学習され、さらに100GBのコードと法務文書で追加学習されました。データセットの構造は以下の通りです。

トレーニングデータは重複排除されており、テキストの重複排除には、コーパス内の各テキストの64ビットハッシュが使用され、一意のハッシュを持つテキストのみが保持されます。また、zlib4を使用してテキストの圧縮率に基づいて文書をフィルタリングし、最も強く圧縮されたテキストと最も弱く圧縮されたテキストは破棄されます。

技術詳細

このモデルは、DeepspeedとMegatronライブラリを使用して、300Bトークンのデータセットで3エポック、約45日間、512台のV100 GPUでトレーニングされました。その後、シーケンス長2048で1エポック、約20日間、200台のA100 GPUで追加データを使用して微調整されました。

最終的なトレーニング後のロシア語のパープレキシティは約8.8でした。

🔧 技術詳細

• モデルタイプ: Transformerベースの言語モデル
• トレーニングデータ: 300GBの様々なドメインのデータと100GBのコードと法務文書
• トレーニング期間: 約45日間（事前学習） + 約20日間（微調整）
• ハードウェア: 512台のV100 GPU（事前学習）、200台のA100 GPU（微調整）

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。