Bert Base Ur Cased

🚀 bert-base-ur-cased

このプロジェクトでは、bert-base-multilingual-cased の小規模バージョンを公開しています。これらのバージョンは、カスタムな言語数を扱うことができます。distilbert-base-multilingual-cased とは異なり、これらのバージョンは元のモデルと全く同じ表現を生成し、元の精度を維持します。詳細については、論文 Load What You Need: Smaller Versions of Multilingual BERT をご覧ください。

🚀 クイックスタート

このモデルの使用方法を以下に示します。

モデルの読み込み

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("Geotrend/bert-base-ur-cased")
model = AutoModel.from_pretrained("Geotrend/bert-base-ur-cased")

他の小規模バージョンの生成

多言語トランスフォーマーの他の小規模バージョンを生成するには、私たちのGitHubリポジトリ をご覧ください。

引用方法

@inproceedings{smallermbert,
  title={Load What You Need: Smaller Versions of Mutlilingual BERT},
  author={Abdaoui, Amine and Pradel, Camille and Sigel, Grégoire},
  booktitle={SustaiNLP / EMNLP},
  year={2020}
}

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスの下で公開されています。

🔗 関連情報

📞 お問い合わせ

質問、フィードバック、またはリクエストがある場合は、amine@geotrend.fr までご連絡ください。