Bert Base 5lang Cased

🚀 bert-base-5lang-cased

このモデルは、bert-base-multilingual-casedの小規模版で、104言語ではなく、英語（en）、フランス語（fr）、スペイン語（es）、ドイツ語（de）、中国語（zh）の5言語のみを扱います。モデルのパラメータ数は124Mで、元のモデルの178Mよりも約30%少なくなっていますが、上記の言語に対しては全く同じ表現を提供します。bert-base-5lang-casedを使用することで、同様の結果を維持しながら、モデルをパブリッククラウドプラットフォームに簡単にデプロイすることができます。例えば、Google Cloud Platformでは、サーバーレスデプロイ（Cloud Functions / Cloud ML）の場合、ディスク上のモデルサイズが500MB未満である必要がありますが、元のbert-base-multilingual-casedはこの条件を満たしていません。

🚀 クイックスタート

このモデルは、英語、フランス語、スペイン語、ドイツ語、中国語の5言語をサポートするBERTモデルの小規模版です。元のモデルよりもサイズが小さいため、クラウドプラットフォームへのデプロイが容易です。

✨ 主な機能

• 5言語（英語、フランス語、スペイン語、ドイツ語、中国語）をサポート
• 元のbert-base-multilingual-casedよりも30%小さいモデルサイズ
• 同じ言語に対して同じ表現を提供
• クラウドプラットフォームへのデプロイが容易

📚 ドキュメント

モデルのサイズ、メモリ使用量、ロード時間に関する情報

これらの測定値は、Google Cloud n1-standard-1マシン（1 vCPU、3.75 GB）で計算されています。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("amine/bert-base-5lang-cased")
model = AutoModel.from_pretrained("amine/bert-base-5lang-cased")

引用方法

@inproceedings{smallermbert,
  title={Load What You Need: Smaller Versions of Multilingual BERT},
  author={Abdaoui, Amine and Pradel, Camille and Sigel, Grégoire},
  booktitle={SustaiNLP / EMNLP},
  year={2020}
}

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

🔗 コンタクト

質問、フィードバック、またはリクエストがある場合は、amine@geotrend.frにお問い合わせください。