Roberta Kaz Large

🚀 RoBERTa-kaz-large

roberta-kaz-large 是一個基於RoBERTa架構的哈薩克語語言模型，使用 RobertaForMaskedLM 架構從零開始訓練。該模型在Hugging Face的 “kz-transformers/multidomain-kazakh-dataset” 數據集上進行訓練，該數據集涵蓋了多個領域，以確保模型具有廣泛的泛化能力。

🚀 快速開始

本模型可以配合Hugging Face的 Transformers 庫使用。

📦 安裝指南

使用以下代碼安裝所需的庫：

pip install transformers

💻 使用示例

基礎用法

from transformers import RobertaTokenizerFast, RobertaForMaskedLM

tokenizer = RobertaTokenizerFast.from_pretrained('nur-dev/roberta-kaz-large')
model = RobertaForMaskedLM.from_pretrained('nur-dev/roberta-kaz-large')

高級用法

from transformers import pipeline
pipe = pipeline('fill-mask', model='nur-dev/roberta-kaz-large')
predicted = pipe("Қазіргі <mask> әлемдік деңгейдегі <mask> университеттері сапалы білім, зияткерлік және мәдени <mask> беретін <mask> <mask> <mask> ғана емес, сонымен қатар мемлекет үшін <mask> қабілетті адами капиталды құратын <mask>, ғылым және өндірісті интеграциялаудың <mask> <mask> болып табылады.")

for t in predicted:
  print(t[0]['score'], t[0]['token_str'])

🔧 技術細節

模型使用兩塊NVIDIA A100 GPU在 “kz-transformers/multidomain-kazakh-dataset” 數據集的530多萬個樣本上進行訓練。訓練共進行了10個輪次，通過梯度累積有效地處理了大批量數據。學習率採用了緩慢上升的策略，以最大程度地保證學習的穩定性，並在208,100步內進行優化，重點提升模型理解和生成哈薩克語的能力。

📚 詳細文檔

侷限性和偏差

和其他語言模型一樣，roberta-kaz-large 可能會從訓練數據中學習到一些偏差。用戶在使用時應保持謹慎，並在不同的場景中對模型進行評估，以確保其在敏感應用場景中也能達到預期的效果。

模型作者

姓名：Kadyrbek Nurgali

• 郵箱：nurgaliqadyrbek@gmail.com
• 領英：Kadyrbek Nurgali

📄 許可證

本模型採用AFL-3.0許可證。

數據集

• kz-transformers/multidomain-kazakh-dataset