Kaz Roberta Conversational

🚀 Kaz - RoBERTa (ベースサイズのモデル)

Kaz - RoBERTaは、自己教師付き学習により、大量のカザフ語データコーパスで事前学習されたトランスフォーマーモデルです。具体的には、マスク言語モデリング（MLM）の目的で事前学習されています。

🚀 クイックスタート

このモデルは、マスク言語モデリングのパイプラインで直接使用できます。

✨ 主な機能

• カザフ語のデータコーパスで事前学習されたトランスフォーマーモデル。
• マスク言語モデリング（MLM）の目的で事前学習されている。

💻 使用例

基本的な使用法

>>> from transformers import pipeline
>>> pipe = pipeline('fill-mask', model='kz-transformers/kaz-roberta-conversational')
>>> pipe("Мәтел тура, ауыспалы, астарлы <mask> қолданылады")
#Out:
# {'score': 0.8131822347640991,
#   'token': 18749,
#   'token_str': ' мағынада',
#   'sequence': 'Мәтел тура, ауыспалы, астарлы мағынада қолданылады'},
# ...
# ...]

📚 ドキュメント

トレーニングデータ

Kaz - RoBERTaモデルは、2つのデータセットの統合データで事前学習されています。

• MDBKD マルチドメインバイリンガルカザフ語データセットは、複数のドメインからの24,883,808を超える一意のテキストを含むカザフ語データセットです。
• 会話データ ベエリーン・カザフスタン（ヴェオングループ）のカスタマーサポートチームとクライアント間の前処理済みの対話データ。

これらのデータセットを合わせると、25GBのテキストデータになります。

トレーニング手順

前処理

テキストは、バイトバージョンのByte - Pair Encoding（BPE）を使用してトークン化され、語彙サイズは52,000です。モデルの入力は、ドキュメントをまたがる可能性のある512個の連続したトークンのピースを取ります。新しいドキュメントの開始は <s> で、終了は </s> でマークされます。

事前学習

このモデルは、2つのV100 GPUで500Kステップ、バッチサイズ128、シーケンス長512でトレーニングされました。MLM確率は15％、num_attention_heads = 12、num_hidden_layers = 6です。

コントリビューション

このモデルを追加してくれた @BeksultanSagyndyk と @SanzharMrz に感謝します。 連絡先： Sanzhar Murzakhmetov、 Besultan Sagyndyk

📄 ライセンス

このモデルは、Apache - 2.0ライセンスの下で提供されています。