Bertin Base Gaussian

🚀 RoBERTa-base 西班牙語模型

這是一個基於西班牙語從頭開始訓練的 RoBERTa-base 模型，可用於解決自然語言處理中的掩碼填充等任務，為西班牙語相關的文本處理提供了強大的支持。

🚀 快速開始

本模型為西班牙語的自然語言處理任務提供了有效的解決方案。若想了解更多詳細信息，請查看我們的主 卡片。

✨ 主要特性

• 基於 RoBERTa-base 架構，在西班牙語上從頭開始訓練。
• 適用於掩碼填充（fill-mask）任務。

🔧 技術細節

此模型使用 mc4 數據集進行訓練，該數據集對文檔進行了二次採樣，最終約有 5000 萬個示例。採樣過程傾向於平均困惑度值（使用高斯函數），更頻繁地捨棄困惑度值非常大（質量較差）或非常小（簡短、重複性文本）的文檔。模型總共訓練了 250,000 步。

📄 許可證

本項目採用 CC BY 4.0 許可證。

👥 團隊成員

• Eduardo González (edugp)
• Javier de la Rosa (versae)
• Manu Romero (mrm8488)
• María Grandury (mariagrandury)
• Pablo González de Prado (Pablogps)
• Paulo Villegas (paulo)

💡 使用提示：本項目是 Flax/Jax 社區周 的一部分，由 HuggingFace 組織，TPU 使用由 Google 贊助。