ModernBertMultilingualオープンソース多言語モデル - 中国語、英語、日本語、韓国語をサポートし、東アジアのテキスト処理に超優れています

Modern Bert Multilingual

neavoによって開発

ModernBertMultilingualはゼロからトレーニングされた多言語モデルで、中国語、英語、日本語、韓国語をサポートし、混合東アジア言語テキストタスクで優れたパフォーマンスを発揮します。

ダウンロード数 333

リリース時間 : 1/31/2025

モデル概要

ModernBERT-baseアーキテクチャに基づく多言語モデルで、特に東アジア言語処理能力を最適化しており、多言語テキスト理解と生成タスクに適しています。

多言語サポート

中国語、英語、日本語、韓国語の4言語とそのバリエーションを特別に最適化してサポートし、混合東アジア言語テキスト処理で優れた性能を発揮します。

効率的なトレーニング

L40*7デバイスで約100時間トレーニングし、約60Bトークンを処理、bf16混合精度トレーニングを採用しています。

マルチバージョン対応

基本版、アニールなし版、ACGN特化版の3バージョンを提供し、さまざまな分野のニーズに対応します。

多言語テキスト理解

多言語テキスト生成

クロスランゲージセマンティック分析

自然言語処理

多言語テキスト分類

複数の東アジア言語が混在するテキストを分類する

クロスランゲージ情報検索

異なる言語間で意味的類似性マッチングを行う

ACGN分野

ライトノベルテキスト処理

複数言語を含むライトノベルテキストを処理する

ACGN特化版はこのようなタスク向けに最適化されています

ゲームテキスト生成

多言語のゲーム会話と説明テキストを生成する

ModernBertMultilingualは、4種類の言語とそのバリエーションをサポートする多言語モデルです。このモデルは、東アジア言語の混合テキストタスクで良好な性能を発揮します。

3つの異なる重みバージョンを提供しています:
- base - 一般的なコーパスで完全に学習され、さまざまなテキストドメインに適しています。
- nodecay - アニーリング段階前のチェックポイントで、特定のドメインのデータで微調整することで、ターゲットドメインにより適応させることができます。
- keyword_gacha_multilingual - ACGN（例えば ライトノベル、ゲームテキスト、漫画テキスト など）タイプのテキストを使用して微調整されたバージョンです。