Distilbert Base En El Ru Cased

🚀 distilbert-base-en-el-ru-cased

このプロジェクトでは、distilbert-base-multilingual-cased の小規模バージョンを公開しています。これらのバージョンは、カスタム言語数に対応しており、元のモデルと同じ表現を生成し、精度も維持しています。

詳細については、当社の論文 Load What You Need: Smaller Versions of Multilingual BERT をご覧ください。

🚀 クイックスタート

モデルの使用方法

以下のコードを使用して、このモデルを使い始めることができます。

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("Geotrend/distilbert-base-en-el-ru-cased")
model = AutoModel.from_pretrained("Geotrend/distilbert-base-en-el-ru-cased")

その他の小規模バージョンの生成

多言語トランスフォーマーの他の小規模バージョンを生成するには、当社のGitHubリポジトリ をご覧ください。

引用方法

このモデルを引用する場合は、以下のBibTeXを使用してください。

@inproceedings{smallermdistilbert,
  title={Load What You Need: Smaller Versions of Mutlilingual BERT},
  author={Abdaoui, Amine and Pradel, Camille and Sigel, Grégoire},
  booktitle={SustaiNLP / EMNLP},
  year={2020}
}

📚 ドキュメント

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。

お問い合わせ

ご質問、フィードバック、またはリクエストがある場合は、amine@geotrend.fr までお問い合わせください。