Bertin Roberta Large Spanish

🚀 BERTIN

BERTIN是一系列基於BERT的西班牙語模型。此模型為RoBERTa-large模型，使用Flax在mC4的西班牙語部分數據上從頭開始訓練，還包含訓練腳本。本項目是由HuggingFace組織的Flax/Jax社區周的一部分，TPU使用由Google贊助。

⚠️ 重要提示

此倉庫現已被https://huggingface.co/bertin-project/bertin-roberta-base-spanish 取代。此模型對應於使用逐步過採樣訓練200k步、序列長度為128的beta版本。現在版本1已可用，建議使用版本1。

🚀 快速開始

BERTIN模型可用於西班牙語的相關自然語言處理任務，如掩碼語言模型任務。你可以通過Hugging Face的transformers庫來使用該模型。

✨ 主要特性

• 基於BERT架構：BERTIN基於BERT架構，能夠學習到豐富的語言表示。
• 西班牙語專用：專門針對西班牙語進行訓練，更適合處理西班牙語相關任務。
• 從頭開始訓練：在mC4的西班牙語部分數據上從頭開始訓練，能夠捕捉到西班牙語的語言特性。

📚 詳細文檔

西班牙語mC4數據

mC4的西班牙語部分包含約4.16億條記錄和2350億個單詞。以下是統計數據的命令示例：

$ zcat c4/multilingual/c4-es*.tfrecord*.json.gz | wc -l
416057992

$ zcat c4/multilingual/c4-es*.tfrecord-*.json.gz | jq -r '.text | split(" ") | length' | paste -s -d+ - | bc
235303687795

團隊成員

• Javier de la Rosa (versae)
• Eduardo González (edugp)
• Paulo Villegas (paulo)
• Pablo González de Prado (Pablogps)
• Manu Romero (mrm8488)
• María Grandury (mariagrandury)

有用的鏈接

• 社區周時間線
• 社區周README
• 社區周討論帖
• 社區周頻道
• 掩碼語言模型示例腳本
• 模型倉庫

📄 許可證

本項目採用CC BY 4.0許可證。