T5 Base Standard Bahasa Cased

🚀 t5-base-standard-bahasa-cased

マレー語用に事前学習されたT5ベースの標準言語モデルです。このモデルは、マレー語の様々なタスクに対応し、高い性能を発揮します。

🚀 クイックスタート

このモデルは、マレー語の様々な自然言語処理タスクに利用できます。以下に、事前学習の詳細やサポートされる接頭辞を紹介します。

✨ 主な機能

事前学習コーパス

t5-base-standard-bahasa-casedモデルは、複数のタスクで事前学習されています。以下は、学習に使用したタスクのリストです。

1. マレー語のニュース、マレー語版Wikipedia、マレー語版Academia.edu、マレー語の議会資料、翻訳されたThe Pileを用いた言語マスキングタスク。
2. マレー語のニュースに対するニュースタイトル予測。
3. マレー語のニュース、マレー語版Wikipedia、マレー語版Academia.edu、マレー語の議会資料、翻訳されたThe Pileに対する次文予測。
4. 翻訳された自然言語質問応答（QA Natural）。
5. 翻訳されたSNLIと翻訳されたMNLIを用いたテキスト類似度タスク。
6. 英語 - マレー語の翻訳。
7. マレー語 - 英語の翻訳。
8. 要約生成。
9. 知識グラフトリプルの生成。
10. 言い換え。

準備手順は、https://github.com/huseinzol05/malaya/tree/master/pretrained-model/t5/prepare で再現できます。

事前学習の詳細

• このモデルは、GoogleのT5リポジトリ（https://github.com/google-research/text-to-text-transfer-transformer ）を使用し、v3 - 8 TPUで学習されました。
• すべての手順は、https://github.com/huseinzol05/Malaya/tree/master/pretrained-model/t5 から再現できます。

サポートされる接頭辞

1. soalan: {string}：自然言語質問応答で学習されました。
2. ringkasan: {string}：要約生成用。
3. tajuk: {string}：抽象的なタイトル生成用。
4. parafrasa: {string}：言い換え生成用。
5. terjemah Inggeris ke Melayu: {string}：英語 - マレー語の翻訳用。
6. terjemah Melayu ke Inggeris: {string}：マレー語 - 英語の翻訳用。
7. grafik pengetahuan: {string}：マレー語のテキストを英語の知識グラフトリプル形式に変換するため。
8. ayat1: {string1} ayat2: {string2}：意味的な類似度判定用。