T5 Small Standard Bahasa Cased

🚀 t5-small-standard-bahasa-cased

このモデルは、マレー語用に事前学習されたT5 small standard言語モデルです。

📚 事前学習コーパス

t5-small-standard-bahasa-casedモデルは、複数のタスクで事前学習されています。以下は、学習に使用したタスクのリストです。

1. バハサ語のニュース、バハサ語のウィキペディア、バハサ語のAcademia.edu、バハサ語の議会、および翻訳されたThe Pileに対する言語マスキングタスク。
2. バハサ語のニュースに対するニュースタイトル予測。
3. バハサ語のニュース、バハサ語のウィキペディア、バハサ語のAcademia.edu、バハサ語の議会、および翻訳されたThe Pileに対する次の文予測。
4. 翻訳された自然言語質問応答。
5. 翻訳されたSNLIと翻訳されたMNLIに対するテキスト類似性タスク。
6. 英語 - マレー語翻訳。
7. マレー語 - 英語翻訳。
8. 抽出型要約。
9. 知識グラフトリプル生成。
10. 言い換え。

準備手順は、https://github.com/huseinzol05/malaya/tree/master/pretrained-model/t5/prepare で再現できます。

🔧 事前学習の詳細

• このモデルは、GoogleのT5リポジトリ（https://github.com/google-research/text-to-text-transfer-transformer ）を使用して、v3 - 8 TPUで学習されました。
• すべての手順は、https://github.com/huseinzol05/Malaya/tree/master/pretrained-model/t5 から再現できます。

📦 事前学習モデルの読み込み

torchまたはtensorflowとHuggingfaceのライブラリtransformersをインストールすることで、このモデルを使用できます。以下のように初期化することで直接使用できます。

from transformers import T5Tokenizer, T5Model

model = T5Model.from_pretrained('malay-huggingface/t5-small-bahasa-cased')
tokenizer = T5Tokenizer.from_pretrained('malay-huggingface/t5-small-bahasa-cased')

💻 使用例

基本的な使用法

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained('malay-huggingface/t5-small-bahasa-cased')
model = T5ForConditionalGeneration.from_pretrained('malay-huggingface/t5-small-bahasa-cased')
input_ids = tokenizer.encode('soalan: siapakah perdana menteri malaysia?', return_tensors = 'pt')
outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

出力は以下の通りです。

'Mahathir Mohamad'

📚 サポートされるプレフィックス

1. soalan: {string}：自然言語質問応答で学習されたもの。
2. ringkasan: {string}：抽出型要約用。
3. tajuk: {string}：抽出型タイトル用。
4. parafrasa: {string}：抽出型言い換え用。
5. terjemah Inggeris ke Melayu: {string}：英語 - マレー語翻訳用。
6. terjemah Melayu ke Inggeris: {string}：マレー語 - 英語翻訳用。
7. grafik pengetahuan: {string}：マレー語のテキストを英語の知識グラフトリプル形式に変換するためのもの。
8. ayat1: {string1} ayat2: {string2}：意味的な類似性。