Roberta Kaz Large

🚀 RoBERTa-kaz-large

roberta-kaz-largeは、カザフ語用のRoBERTaベースの言語モデルです。RobertaForMaskedLMアーキテクチャを使用してゼロから学習されました。Hugging Faceの「kz-transformers/multidomain-kazakh-dataset」を使用して学習され、多様なドメインをカバーすることで幅広い汎化能力を備えています。

🚀 クイックスタート

このモデルは、Hugging Face Transformersライブラリを使って利用することができます。

✨ 主な機能

• カザフ語の言語理解と生成に特化したRoBERTaベースの言語モデル。
• 多様なドメインのデータセットを使用して学習され、幅広い汎化能力を備えています。

📦 インストール

このモデルはHugging Face Transformersライブラリを通じて使用できます。ライブラリがインストールされていない場合は、以下のコマンドでインストールしてください。

pip install transformers

💻 使用例

基本的な使用法

from transformers import RobertaTokenizerFast, RobertaForMaskedLM

tokenizer = RobertaTokenizerFast.from_pretrained('nur-dev/roberta-kaz-large')
model = RobertaForMaskedLM.from_pretrained('nur-dev/roberta-kaz-large')

高度な使用法

from transformers import pipeline
pipe = pipeline('fill-mask', model='nur-dev/roberta-kaz-large')
predicted = pipe("Қазіргі <mask> әлемдік деңгейдегі <mask> университеттері сапалы білім, зияткерлік және мәдени <mask> беретін <mask> <mask> <mask> ғана емес, сонымен қатар мемлекет үшін <mask> қабілетті адами капиталды құратын <mask>, ғылым және өндірісті интеграциялаудың <mask> <mask> болып табылады.")

for t in predicted:
  print(t[0]['score'], t[0]['token_str'])

📚 ドキュメント

学習手順

このモデルは、2つのNVIDIA A100 GPUを使用して、「kz-transformers/multidomain-kazakh-dataset」の530万を超える例を使って学習されました。10エポックにわたって学習を行い、勾配累積によって大量のデータバッチを効率的に処理しました。学習設定には、学習率を緩やかに上げることで学習の安定性を最大化し、208,100ステップにわたって最適化し、カザフ語の理解と生成能力を向上させることに焦点を当てました。

制限とバイアス

他の言語モデルと同様に、roberta-kaz-largeは学習データに含まれるバイアスを内在的に学習する可能性があります。ユーザーは注意して、様々なコンテキストでモデルを評価し、特に敏感なアプリケーションでは期待どおりに動作することを確認する必要があります。

モデルの作成者

名前: Kadyrbek Nurgali

• メール: nurgaliqadyrbek@gmail.com
• LinkedIn: Kadyrbek Nurgali

📄 ライセンス

このモデルはAFL-3.0ライセンスの下で提供されています。