Vietnamese FlanT5 Large

🚀 HattoFlanT5-Large

このモデルは、SentencePieceを用いてベトナム語、英語、中国語のトークナイザーを再学習し、Flan - T5の語彙と統合したものです。また、多様なデータセットで継続事前学習を行っています。テキスト要約、翻訳、質問応答などのタスクに使用できます。

🚀 クイックスタート

このモデルは、ベトナム語、英語、中国語のテキストを扱うために、新しいトークナイザーを学習し、Flan - T5の語彙と統合しています。また、大規模なデータセットで事前学習を行っています。

✨ 主な機能

• 語彙拡張：SentencePieceを使ってベトナム語、英語、中国語のトークナイザーを再学習し、Flan - T5の元の語彙と統合しました。
• 事前学習：100GBを超える多様なデータセットでFlan - T5 - Largeモデルを1エポックの継続事前学習を行いました。
• 多言語対応：ベトナム語、英語、中国語に対応しています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("Hatto/HattoFlanT5-Large")  
model = AutoModelForSeq2SeqLM.from_pretrained("Hatto/HattoFlanT5-Large")
model.cuda()

📚 ドキュメント

語彙拡張と事前学習

私たちはSentencePieceを利用して、ベトナム語、英語、中国語のトークナイザーを再学習しました。この新しく学習したトークナイザーの語彙をFlan - T5の元の語彙と統合し、重複するトークンを削除しました。結果として得られた統合語彙は106611トークンで構成されています。

1エポックの継続事前学習（増分事前学習とも呼ばれます）には、Flan - T5 - Largeモデルを使用しました。この事前学習は、100GBを超える多様なデータセットで行われ、以下のソースが含まれています。

• NewsCorpus
• ベトナム語版ウィキペディア
• ベトナム語の書籍
• ベトナム語の法律文書
• ベトナム語の法律テキスト
• 英語版ウィキペディア
• 中国語のテキスト

ファインチューニングとベンチマーク

以下のデータセットでファインチューニングとベンチマークを行っています。

• Wikilingua
• Vietnews
• Pho_NER
• .....

📄 ライセンス

このプロジェクトは、Apache - 2.0ライセンスの下で公開されています。

📄 引用

• Hatto
• Ipcoms