roberta-base-turkish-uncasedオープンソースモデル - トルコ語の自然言語処理を支援し、無料で利用可能

Home

Roberta Base Turkish Uncased

Developed by burakaytan

トルコ語事前学習済みRoBERTaベースモデル、38GBのトルコ語コーパスで訓練

大規模言語モデル

Transformers

OtherOpen Source License:MIT #トルコ語事前学習 #穴埋め予測 #大規模コーパス訓練

Downloads 57

Release Time : 4/20/2022

Model Overview

これはトルコ語ベースのRoBERTaモデルで、主にトルコ語テキストのマスク言語モデリングタスクに使用され、トルコ語テキストの理解と生成をサポートします。

Model Features

大規模トルコ語事前学習

38GBのトルコ語コーパス（ウィキペディア、OSCARコーパス、ニュースサイトデータを含む）を使用して訓練

高性能ハードウェアでの訓練

Intel Xeon GoldプロセッサとTesla V100 GPUを搭載した高性能ハードウェア環境で訓練を完了

トルコ語処理の最適化

トルコ語の特徴に特化して最適化され、トルコ語テキストをより効果的に処理可能

Model Capabilities

トルコ語テキスト理解

マスク言語モデリング

テキスト補完

意味解析

Use Cases

テキスト補完

穴埋めアプリケーション

文中のマスクされた単語を予測

トルコ語の文中でマスクされたキーワードを正確に予測可能

意味解析

テキスト類似度計算

トルコ語テキスト間の意味的類似度を計算

🚀 RoBERTaTurk

このモデルは、トルコ語のWikipedia、トルコ語のOSCAR、およびいくつかのニュースウェブサイトを用いて事前学習されたトルコ語のRoBERTaベースモデルです。

最終的な学習コーパスのサイズは38GBで、329,720,508文を含んでいます。

Turkcellのおかげで、Intel(R) Xeon(R) Gold 6230R CPU @ 2.10GHz 256GB RAM 2 x GV100GL [Tesla V100 PCIe 32GB] GPUを使用して、250万ステップの学習を行うことができました。

🚀 クイックスタート

このセクションでは、RoBERTaTurkモデルの基本的な使い方を説明します。

✨ 主な機能

トルコ語のWikipedia、トルコ語のOSCAR、およびいくつかのニュースウェブサイトを用いた事前学習
38GBの学習コーパスと329,720,508文で学習
Intel(R) Xeon(R) Gold 6230R CPU @ 2.10GHz 256GB RAM 2 x GV100GL [Tesla V100 PCIe 32GB] GPUを使用した250万ステップの学習

💻 使用例

基本的な使用法

transformersライブラリを読み込むには、以下のコードを使用します。

from transformers import AutoTokenizer, AutoModelForMaskedLM
  
tokenizer = AutoTokenizer.from_pretrained("burakaytan/roberta-base-turkish-uncased")
model = AutoModelForMaskedLM.from_pretrained("burakaytan/roberta-base-turkish-uncased")

高度な使用法

マスクトークンを埋めるためのパイプラインを使用するには、以下のコードを使用します。

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="burakaytan/roberta-base-turkish-uncased",
    tokenizer="burakaytan/roberta-base-turkish-uncased"
)

fill_mask("iki ülke arasında <mask> başladı")

[{'sequence': 'iki ülke arasında savaş başladı',
  'score': 0.3013845384120941,
  'token': 1359,
  'token_str': ' savaş'},
 {'sequence': 'iki ülke arasında müzakereler başladı',
  'score': 0.1058429479598999,
  'token': 30439,
  'token_str': ' müzakereler'},
 {'sequence': 'iki ülke arasında görüşmeler başladı',
  'score': 0.07718811184167862,
  'token': 4916,
  'token_str': ' görüşmeler'},
 {'sequence': 'iki ülke arasında kriz başladı',
  'score': 0.07174749672412872,
  'token': 3908,
  'token_str': ' kriz'},
 {'sequence': 'iki ülke arasında çatışmalar başladı',
  'score': 0.05678590387105942,
  'token': 19346,
  'token_str': ' çatışmalar'}]

📚 ドキュメント

このモデルを引用するには、以下のBibTeXエントリを使用してください。

@inproceedings{aytan2022comparison,
  title={Comparison of Transformer-Based Models Trained in Turkish and Different Languages on Turkish Natural Language Processing Problems},
  author={Aytan, Burak and Sakar, C Okan},
  booktitle={2022 30th Signal Processing and Communications Applications Conference (SIU)},
  pages={1--4},
  year={2022},
  organization={IEEE}
}