Bert Base Spanish Wwm Cased

🚀 BETO: スペイン語版BERT

BETOは、大規模なスペイン語コーパスを使用して学習されたBERTモデルです。BETOはBERT-Baseと同程度のサイズで、Whole Word Masking技術を用いて学習されています。以下に、大文字小文字を区別しないバージョンと区別するバージョンのTensorflowとPytorchのチェックポイント、およびスペイン語のベンチマークにおけるBETOとMultilingual BERTや他の（BERTベースではない）モデルとの比較結果を示します。

📦 インストール

すべてのモデルは、SentencePieceを使用して構築された約31kのBPEサブワードの語彙を使用し、200万ステップで学習されています。

📊 ベンチマーク

次の表は、各タスクのスペイン語版におけるBETOの結果を示しています。 BETO（大文字小文字を区別するバージョンと区別しないバージョン）を、文献で見つかった最良のMultilingual BERTの結果（2019年10月時点）と比較しています。 表には、同じタスクに対するいくつかの代替手法（必ずしもBERTベースの手法ではない）も示されています。 すべての手法の参考文献はこちらにあります。

💻 使用例

BETOの使用方法の詳細については、🤗Huggingface Transformersライブラリのクイックスタートセクションから始めることができます。 Transformersライブラリを使用することで、BETOモデルには単に'dccuchile/bert-base-spanish-wwm-cased'および'dccuchile/bert-base-spanish-wwm-uncased'としてアクセスできます。 このページのモデルをダウンロードして使用する方法の例は、このcolabノートブックにあります。 （間もなく、初心者向けの詳細なステップバイステップのスペイン語チュートリアルを追加します 😉）

🙏 謝辞

BETO（大文字小文字を区別しない）の学習に支援を提供してくれたAderesoと、BETO（大文字小文字を区別する）の学習に支援を提供してくれたMillennium Institute for Foundational Research on Dataに感謝します。また、TensorFlow Research Cloudプログラムで支援してくれたGoogleにも感謝します。

📖 引用

Spanish Pre-Trained BERT Model and Evaluation Data

このリソースを出版物で引用する場合は、次のようにしてください。

@inproceedings{CaneteCFP2020,
  title={Spanish Pre-Trained BERT Model and Evaluation Data},
  author={Cañete, José and Chaperon, Gabriel and Fuentes, Rodrigo and Ho, Jou-Hui and Kang, Hojin and Pérez, Jorge},
  booktitle={PML4DC at ICLR 2020},
  year={2020}
}

📄 ライセンス

ライセンスCC BY 4.0は、私たちの作品に対する意図を最もよく表しています。ただし、BETOの学習に使用されたすべてのデータセットがCC BY 4.0と互換性のあるライセンスを持っているかどうかは確定していません（特に商用利用の場合）。自己責任で使用し、元のテキストリソースのライセンスがあなたのニーズに合っていることを確認してください。

📚 参考文献

• [1] オリジナルのMultilingual BERT
• [2] "Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT"におけるMultilingual BERT
• [3] "How Multilingual is Multilingual BERT?"におけるMultilingual BERT
• [4] LASER
• [5] XLM (MLM+TLM)
• [6] "75 Languages, 1 Model: Parsing Universal Dependencies Universally"におけるUDPipe
• [7] "Sequence Tagging with Contextual and Non-Contextual Subword Representations: A Multilingual Evaluation"におけるMultilingual BERT
• [8] "PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification"におけるMultilingual BERT