Roberta Ko Small

🚀 LASSL roberta-ko-small

LASSL roberta-ko-small是一個針對韓語進行預訓練的模型，可用於多種自然語言處理任務，為韓語相關的文本分析提供支持。

🚀 快速開始

以下是使用該模型的基本代碼示例：

from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("lassl/roberta-ko-small")
tokenizer = AutoTokenizer.from_pretrained("lassl/roberta-ko-small")

✨ 主要特性

• 掩碼標記：使用 <mask> 作為掩碼標記。
• 支持韓語：專門針對韓語進行預訓練，適用於韓語相關的自然語言處理任務。
• 多任務評估：在多個韓語數據集上進行了評估，表現良好。

📦 安裝指南

文檔未提及具體安裝步驟，若需使用，可參考 transformers 庫的安裝說明。

💻 使用示例

基礎用法

from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("lassl/roberta-ko-small")
tokenizer = AutoTokenizer.from_pretrained("lassl/roberta-ko-small")

高級用法

文檔未提供高級用法示例，若有更復雜的使用場景，可根據 transformers 庫的文檔進行擴展。

📚 詳細文檔

評估結果

預訓練的 roberta-ko-small 模型由 LASSL 框架在韓語語料上進行訓練。以下是該模型在2021年12月15日的評估性能：

訓練語料

該模型從6,860,062個示例（共包含3,512,351,744個標記）中進行訓練。這些示例從以下語料中提取。如果您想獲取訓練相關信息，請查看 config.json。

corpora/
├── [707M]  kowiki_latest.txt
├── [ 26M]  modu_dialogue_v1.2.txt
├── [1.3G]  modu_news_v1.1.txt
├── [9.7G]  modu_news_v2.0.txt
├── [ 15M]  modu_np_v1.1.txt
├── [1008M]  modu_spoken_v1.2.txt
├── [6.5G]  modu_written_v1.0.txt
└── [413M]  petition.txt

📄 許可證

本項目採用 Apache-2.0 許可證。