Kaz Roberta Conversational

🚀 哈薩克語RoBERTa模型（基礎規模模型）

Kaz-RoBERTa 是一個基於Transformer架構的預訓練模型，它在大規模哈薩克語語料庫上以自監督的方式進行訓練。該模型通過掩碼語言模型（MLM）目標進行預訓練，能夠有效處理哈薩克語的自然語言處理任務。

🚀 快速開始

你可以直接使用該模型進行掩碼語言建模任務：

>>> from transformers import pipeline
>>> pipe = pipeline('fill-mask', model='kz-transformers/kaz-roberta-conversational')
>>> pipe("Мәтел тура, ауыспалы, астарлы <mask> қолданылады")
#Out:
# {'score': 0.8131822347640991,
#   'token': 18749,
#   'token_str': ' мағынада',
#   'sequence': 'Мәтел тура, ауыспалы, астарлы мағынада қолданылады'},
# ...
# ...]

✨ 主要特性

• 自監督學習：通過掩碼語言模型（MLM）目標在大規模哈薩克語語料上進行預訓練。
• 多領域適用：訓練數據涵蓋多領域，使模型具有更廣泛的適用性。

📦 安裝指南

文檔未提及安裝步驟，暫不展示。

💻 使用示例

基礎用法

>>> from transformers import pipeline
>>> pipe = pipeline('fill-mask', model='kz-transformers/kaz-roberta-conversational')
>>> pipe("Мәтел тура, ауыспалы, астарлы <mask> қолданылады")
#Out:
# {'score': 0.8131822347640991,
#   'token': 18749,
#   'token_str': ' мағынада',
#   'sequence': 'Мәтел тура, ауыспалы, астарлы мағынада қолданылады'},
# ...
# ...]

高級用法

文檔未提及高級用法代碼示例，暫不展示。

📚 詳細文檔

訓練數據

Kaz-RoBERTa 模型在兩個數據集的組合上進行預訓練：

• MDBKD 多領域雙語哈薩克語數據集，包含來自多個領域的超過 24,883,808 篇獨特文本。
• 對話數據 經過預處理的哈薩克電信（Beeline KZ，Veon Group）客服團隊與客戶之間的對話。 這兩個數據集總共包含 25GB 的文本。

訓練過程

預處理

文本使用字節版本的字節對編碼（BPE）進行分詞，詞彙表大小為 52,000。模型的輸入採用 512 個連續標記的片段，這些片段可能跨越多個文檔。新文檔的開頭用 <s> 標記，結尾用 </s> 標記。

預訓練

模型在 2 個 V100 GPU 上訓練了 500K 步，批次大小為 128，序列長度為 512。MLM 概率為 15%，注意力頭數量為 12，隱藏層數量為 6。

貢獻者

感謝 @BeksultanSagyndyk 和 @SanzharMrz 添加此模型。 聯繫人：Sanzhar Murzakhmetov，Besultan Sagyndyk

🔧 技術細節

文本使用字節版本的字節對編碼（BPE）進行分詞，詞彙表大小為 52,000。模型輸入為 512 個連續標記的片段，新文檔開頭用 <s> 標記，結尾用 </s> 標記。模型在 2 個 V100 GPU 上訓練 500K 步，批次大小 128，序列長度 512。MLM 概率 15%，注意力頭數量 12，隱藏層數量 6。

📄 許可證

該模型使用 Apache-2.0 許可證。