Bert Base En Es Cased

🚀 bert-base-en-es-cased

このプロジェクトでは、bert-base-multilingual-cased の小規模バージョンを公開しています。これらのバージョンは、カスタムな言語数を扱うことができます。distilbert-base-multilingual-cased とは異なり、これらのバージョンは元のモデルが生成する表現と全く同じものを生成し、元の精度を維持します。詳細については、論文 Load What You Need: Smaller Versions of Multilingual BERT をご覧ください。

🚀 クイックスタート

このセクションでは、このモデルの基本的な使い方を説明します。

✨ 主な機能

• カスタムな言語数を扱うことができる小規模バージョンのBERTモデルを提供します。
• 元のモデルと同じ表現を生成し、精度を維持します。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコードでトークナイザーとモデルをロードできます。

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("Geotrend/bert-base-en-es-cased")
model = AutoModel.from_pretrained("Geotrend/bert-base-en-es-cased")

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("Geotrend/bert-base-en-es-cased")
model = AutoModel.from_pretrained("Geotrend/bert-base-en-es-cased")

高度な使用法

他の小規模バージョンのマルチリンガルトランスフォーマーを生成するには、私たちのGitHubリポジトリ をご覧ください。

📚 ドキュメント

引用方法

このモデルを引用するには、以下のBibTeXを使用してください。

@inproceedings{smallermbert,
  title={Load What You Need: Smaller Versions of Mutlilingual BERT},
  author={Abdaoui, Amine and Pradel, Camille and Sigel, Grégoire},
  booktitle={SustaiNLP / EMNLP},
  year={2020}
}

連絡先

質問、フィードバック、またはリクエストがある場合は、amine@geotrend.fr までご連絡ください。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。

データセット

このモデルは、Wikipediaデータセットを使用して訓練されています。

ウィジェットの例

• "Google generated 46 billion [MASK] in revenue."
• "Paris is the capital of [MASK]."
• "Algiers is the largest city in [MASK]."