Bert Base Spanish Wwm Uncased

🚀 BETO: スペイン語版BERT

BETOは、大規模なスペイン語コーパスを使用して学習されたBERTモデルです。BETOはBERT-Baseと同程度のサイズで、Whole Word Masking技術を用いて学習されています。以下に、uncasedとcasedのバージョンについて、TensorflowとPytorchのチェックポイント、およびスペイン語のベンチマークにおけるBETOとMultilingual BERTや他の（BERTベースではない）モデルとの比較結果を示します。

📦 インストール

すべてのモデルは、SentencePieceを使用して構築された約31kのBPEサブワードの語彙を使用し、200万ステップで学習されています。

📊 ベンチマーク

次の表は、各タスクのスペイン語版におけるBETOのいくつかの結果を示しています。 BETO（casedとuncased）を、文献（2019年10月時点）で見つかった最良のMultilingual BERTの結果と比較しています。 表には、同じタスクに対するいくつかの代替方法（必ずしもBERTベースの方法ではない）も示されています。 すべての方法の参考文献はこちらにあります。

💻 使用例

BETOの使用方法の詳細については、🤗Huggingface Transformersライブラリのクイックスタートセクションから始めることができます。 BETOモデルは、Transformersライブラリを使用して、単に'dccuchile/bert-base-spanish-wwm-cased' および 'dccuchile/bert-base-spanish-wwm-uncased' としてアクセスできます。 このページのモデルをダウンロードして使用する方法の例は、このcolabノートブックにあります。 （間もなく、初心者向けの詳細なステップバイステップのスペイン語チュートリアルを追加します😉）

🙏 謝辞

BETO-uncasedの学習支援を提供してくれたAdereso と、BETO-casedの学習支援を提供してくれたデータ基礎研究ミレニアム研究所に感謝します。また、TensorFlow Research Cloud プログラムで支援してくれたGoogleにも感謝します。

📖 引用

Spanish Pre-Trained BERT Model and Evaluation Data

このリソースを出版物で引用する場合は、次のようにしてください。

@inproceedings{CaneteCFP2020,
  title={Spanish Pre-Trained BERT Model and Evaluation Data},
  author={Cañete, José and Chaperon, Gabriel and Fuentes, Rodrigo and Ho, Jou-Hui and Kang, Hojin and Pérez, Jorge},
  booktitle={PML4DC at ICLR 2020},
  year={2020}
}

📄 ライセンス

CC BY 4.0ライセンスが、私たちの作品の意図を最もよく表しています。ただし、BETOの学習に使用されたすべてのデータセットがCC BY 4.0と互換性のあるライセンスを持っているかどうかは確定していません（特に商用利用の場合）。ご自身の判断で使用し、元のテキストリソースのライセンスがあなたのニーズに合っていることを確認してください。

📚 参考文献

• [1] オリジナルのMultilingual BERT
• [2] Multilingual BERT on "Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT"
• [3] Multilingual BERT on "How Multilingual is Multilingual BERT?"
• [4] LASER
• [5] XLM (MLM+TLM)
• [6] UDPipe on "75 Languages, 1 Model: Parsing Universal Dependencies Universally"
• [7] Multilingual BERT on "Sequence Tagging with Contextual and Non-Contextual Subword Representations: A Multilingual Evaluation"
• [8] Multilingual BERT on "PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification"