Distilbert Base Es Multilingual Cased

🚀 DistilBERTベース多言語モデルのスペイン語サブセット（大文字小文字区別あり）

このモデルは、BERTベース多言語モデル の蒸留版である distilbert-base-multilingual-cased (https://huggingface.co/distilbert-base-multilingual-cased) のスペイン語抽出版です。このモデルは大文字小文字を区別します。つまり、"english" と "English" を区別します。

このモデルは、https://github.com/Geotrend-research/smaller-transformers に記載されているGeotrendによって提案された抽出方法を使用しています。

結果として得られるモデルは、DistilmBERTと同じアーキテクチャを持ちます。6層、768次元、12ヘッドで、合計6300万のパラメータ（DistilmBERTの1億3400万のパラメータと比較）です。

このモデルの目的は、スペイン語で最も頻繁に使用されるトークンのみを選択することで、distilbert-base-multilingual 多言語モデルのサイズをさらに縮小することです。詳細については、Geotrendチームの論文「Load What You Need: Smaller Versions of Multilingual BERT」を参照してください。

✨ 主な機能

• スペイン語のみを対象としたモデルで、多言語モデルから最も頻繁に使用されるトークンを選択することでサイズを縮小。
• 大文字小文字を区別した表現が可能。

📦 インストール

原文書にインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

原文書にコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

データセット

ウィジェット

ウィジェットのテキスト例: "Mi nombre es Juan y vivo en [MASK]."

🔧 技術詳細

このモデルは、Geotrendによって提案された抽出方法を使用して、distilbert-base-multilingual-cased からスペイン語のみを抽出しています。抽出方法の詳細は、https://github.com/Geotrend-research/smaller-transformers を参照してください。

結果として得られるモデルは、DistilmBERTと同じアーキテクチャを持ち、6層、768次元、12ヘッドで、合計6300万のパラメータを持っています。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。