T5 Kazakh Qa

🚀 T5 Kazakh QAモデル

このモデルは、カザフ語の質問応答タスクに特化したモデルです。Googleのmt5-largeモデルをベースに、カザフ語版のStanford Question Answering Dataset (SQuAD) を用いて微調整されています。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

モデルとトークナイザーのロード

from transformers import T5Tokenizer, T5TokenizerFast
from transformers import T5ForConditionalGeneration
import sentencepiece

tokenizer = T5Tokenizer.from_pretrained("Kyrmasch/t5-kazakh-qa")
model = T5ForConditionalGeneration.from_pretrained("Kyrmasch/t5-kazakh-qa")

推論の実行

context = "Қазақстан Еуразия құрлығының орталығында орналасқан және аумақтың көлемі бойынша (жер шарының бетінде 2%) әлемде тоғызыншы орынға ие. Қазақстан аумағы бүкіл Батыс Еуропадан үлкен."
question = "Қазақстан жер көлемі жөнінен дүние жүзінде нешінші орында?"

encoded = tokenizer.encode_plus(context, question, max_length=128, pad_to_max_length=True, truncation=True, return_tensors="pt")
input_ids = encoded["input_ids"].to('cpu')
attention_mask = encoded["attention_mask"].to('cpu')
output = model.generate(input_ids=input_ids, attention_mask=attention_mask, max_length=128)
answer = ''.join([tokenizer.decode(ids, skip_special_tokens=True) for ids in output])

✨ 主な機能

• カザフ語対応：カザフ語の質問応答タスクに特化しています。
• 高精度：カザフ語版のSQuADデータセットを用いて微調整されており、高精度な応答を提供します。

📚 ドキュメント

モデル詳細

モデル説明

このモデルは、google/mt5-largeモデルをベースにしています。カザフ語版のStanford Question Answering Dataset (SQuAD) の30,000サンプルを用いて微調整されています。

使用例

例1

• 質問：Қазақстан жер көлемі жөнінен дүние жүзінде нешінші орында?
• 説明：example 1

例2

• 質問：Қар деген не?
• 説明：example 2

例3

• 質問：«Абай жолы» романын жазған кім?
• 説明：example 3

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。