Roberta Ko Small

🚀 LASSL roberta-ko-small

このモデルは韓国語用の事前学習済みモデルで、LASSLフレームワークを用いて訓練されました。

🚀 クイックスタート

以下のコードを使って、このモデルを使用することができます。

from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("lassl/roberta-ko-small")
tokenizer = AutoTokenizer.from_pretrained("lassl/roberta-ko-small")

💻 使用例

基本的な使用法

from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained("lassl/roberta-ko-small")
tokenizer = AutoTokenizer.from_pretrained("lassl/roberta-ko-small")

📚 ドキュメント

評価

事前学習済みのroberta-ko-smallはLASSLフレームワークを使用して韓国語で訓練されました。以下のパフォーマンスは2021/12/15に評価されたものです。

コーパス

このモデルは6,860,062個のサンプル（合計3,512,351,744トークン）から訓練されました。6,860,062個のサンプルは以下のコーパスから抽出されています。訓練に関する情報を取得するには、config.jsonを参照してください。

corpora/
├── [707M]  kowiki_latest.txt
├── [ 26M]  modu_dialogue_v1.2.txt
├── [1.3G]  modu_news_v1.1.txt
├── [9.7G]  modu_news_v2.0.txt
├── [ 15M]  modu_np_v1.1.txt
├── [1008M]  modu_spoken_v1.2.txt
├── [6.5G]  modu_written_v1.0.txt
└── [413M]  petition.txt

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。