Bert Large Swedish Cased

🚀 スウェーデン語のBertモデル

このモデルは、マスク付き言語モデリングや次文予測などのタスクに使用できるスウェーデン語用のBertモデルです。

🚀 クイックスタート

このモデルを使用するには、以下のコードを実行します。

from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("AI-Nordics/bert-large-swedish-cased")
model = AutoModelForMaskedLM.from_pretrained("AI-Nordics/bert-large-swedish-cased")

✨ 主な機能

• マスク付き言語モデリングや次文予測などの一般的なタスクに使用可能です。
• 下流タスクでの微調整により、特定のドメイン/タスクでの性能を向上させることができます。

📚 ドキュメント

モデルの説明

このモデルは、Megatron-LMフレームワークで実装されたBert Largeモデルのアーキテクチャに従っています。バッチサイズ512で600kステップのトレーニングを行いました。モデルは以下のパラメータを持っています。

トレーニングデータ

このモデルは、以下に示す様々なソースから収集された約85GBのスウェーデン語のテキストコーパスで事前学習されています。

想定される用途と制限

生のモデルは、マスク付き言語モデリングや次文予測などの通常のタスクに使用できます。また、特定のドメイン/タスクでの性能を向上させるために、下流タスクで微調整することもよく行われます。