Bert Base 5lang Cased

🚀 bert-base-5lang-cased

bert-base-5lang-cased 是 bert-base-multilingual-cased 的一個精簡版本，它僅支持 5 種語言（英語、法語、西班牙語、德語和中文），而非原來的 104 種。該模型的參數比原始模型少 30%（從 1.78 億減少到 1.24 億），但對於上述 5 種語言，它能提供與原始模型完全相同的表示。從 bert-base-5lang-cased 開始，有助於在公共雲平臺上部署模型，同時保持相近的效果。例如，谷歌雲平臺要求無服務器部署（雲函數/雲機器學習）的模型磁盤大小小於 500MB，原始的 bert-base-multilingual-cased 無法滿足這一要求，而本模型則可以。

📦 模型信息

📊 模型對比

有關模型大小、內存佔用和加載時間的更多信息，請參考下表：

這些測量數據是在 Google Cloud n1-standard-1 機器（1 個 vCPU，3.75 GB 內存） 上得出的。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("amine/bert-base-5lang-cased")
model = AutoModel.from_pretrained("amine/bert-base-5lang-cased")

如何引用

@inproceedings{smallermbert,
  title={Load What You Need: Smaller Versions of Multilingual BERT},
  author={Abdaoui, Amine and Pradel, Camille and Sigel, Grégoire},
  booktitle={SustaiNLP / EMNLP},
  year={2020}
}

📞 聯繫我們

如有任何問題、反饋或需求，請聯繫 amine@geotrend.fr。