T5 Tiny Standard Bahasa Cased

🚀 t5-tiny-standard-bahasa-cased

このモデルは、マレー語用に事前学習されたT5 tiny standard言語モデルです。多様なタスクに対応し、マレー語の自然言語処理に役立ちます。

📚 事前学習コーパス

t5-tiny-standard-bahasa-casedモデルは、複数のタスクで事前学習されています。以下は学習に使用したタスクのリストです。

1. マレー語のニュース、マレー語のウィキペディア、マレー語のAcademia.edu、マレー語の議会資料、および翻訳されたThe Pileに対する言語マスキングタスク。
2. マレー語のニュースに対するニュースタイトル予測。
3. マレー語のニュース、マレー語のウィキペディア、マレー語のAcademia.edu、マレー語の議会資料、および翻訳されたThe Pileに対する次文予測。
4. 翻訳された自然言語QA。
5. 翻訳されたSNLIと翻訳されたMNLIに対するテキスト類似度タスク。
6. 英語 - マレー語翻訳。
7. マレー語 - 英語翻訳。
8. 要約生成。
9. 知識グラフトリプル生成。
10. 言い換え。

準備手順は、https://github.com/huseinzol05/malaya/tree/master/pretrained-model/t5/prepare で再現できます。

🔧 事前学習の詳細

• このモデルは、GoogleのT5リポジトリ（https://github.com/google-research/text-to-text-transfer-transformer ）を使用して、v3 - 8 TPUで学習されました。
• すべての手順は、https://github.com/huseinzol05/Malaya/tree/master/pretrained-model/t5 から再現できます。

📦 事前学習モデルの読み込み

torchまたはtensorflowとHuggingfaceのライブラリtransformersをインストールすることで、このモデルを使用できます。以下のように初期化することで直接使用できます。

from transformers import T5Tokenizer, T5Model

model = T5Model.from_pretrained('malay-huggingface/t5-tiny-bahasa-cased')
tokenizer = T5Tokenizer.from_pretrained('malay-huggingface/t5-tiny-bahasa-cased')

💻 使用例

基本的な使用法

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained('malay-huggingface/t5-tiny-bahasa-cased')
model = T5ForConditionalGeneration.from_pretrained('malay-huggingface/t5-tiny-bahasa-cased')
input_ids = tokenizer.encode('soalan: siapakah perdana menteri malaysia?', return_tensors = 'pt')
outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

出力は以下の通りです。

'Mahathir Mohamad'

サポートされる接頭辞

1. soalan: {string}：自然言語QAで学習された質問形式。
2. ringkasan: {string}：要約生成用。
3. tajuk: {string}：抽象的なタイトル生成用。
4. parafrasa: {string}：言い換え生成用。
5. terjemah Inggeris ke Melayu: {string}：英語 - マレー語翻訳用。
6. terjemah Melayu ke Inggeris: {string}：マレー語 - 英語翻訳用。
7. grafik pengetahuan: {string}：マレー語のテキストを英語の知識グラフトリプル形式に変換するためのもの。
8. ayat1: {string1} ayat2: {string2}：セマンティック類似度用。