Roberta Base Turkish Uncased

🚀 トルコ語版RoBERTaモデル

このモデルは、トルコ語のWikipedia、トルコ語のOSCAR、および一部のニュースウェブサイトを用いて事前学習されたトルコ語版RoBERTaベースモデルです。最終的な学習コーパスは38GBのサイズで、329,720,508文を含んでいます。Turkcellとして、このモデルはIntel(R) Xeon(R) Gold 6230R CPU @ 2.10GHz、256GBのRAM、および2つのGV100GL [Tesla V100 PCIe 32GB] GPUを搭載した環境で250万ステップの学習を行いました。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForMaskedLM
  
tokenizer = AutoTokenizer.from_pretrained("TURKCELL/roberta-base-turkish-uncased")
model = AutoModelForMaskedLM.from_pretrained("TURKCELL/roberta-base-turkish-uncased")

高度な使用法

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="TURKCELL/roberta-base-turkish-uncased",
    tokenizer="TURKCELL/roberta-base-turkish-uncased"
)

fill_mask("iki ülke arasında <mask> başladı")

[{'sequence': 'iki ülke arasında savaş başladı',
  'score': 0.3013845384120941,
  'token': 1359,
  'token_str': ' savaÅŸ'},
 {'sequence': 'iki ülke arasında müzakereler başladı',
  'score': 0.1058429479598999,
  'token': 30439,
  'token_str': ' müzakereler'},
 {'sequence': 'iki ülke arasında görüşmeler başladı',
  'score': 0.07718811184167862,
  'token': 4916,
  'token_str': ' görüşmeler'},
 {'sequence': 'iki ülke arasında kriz başladı',
  'score': 0.07174749672412872,
  'token': 3908,
  'token_str': ' kriz'},
 {'sequence': 'iki ülke arasında çatışmalar başladı',
  'score': 0.05678590387105942,
  'token': 19346,
  'token_str': ' çatışmalar'}]

📄 ライセンス

このモデルはMITライセンスの下で提供されています。