Vietnamese FlanT5 Large

🚀 HattoFlanT5-Large模型項目

HattoFlanT5-Large模型通過擴展詞彙表和預訓練，支持越南語、英語和中文，可用於摘要生成、翻譯、問答等多種自然語言處理任務，為多語言處理提供了強大的解決方案。

🚀 快速開始

本項目主要圍繞HattoFlanT5-Large模型展開，它在多語言處理方面表現出色。以下是使用該模型的基本步驟：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("Hatto/HattoFlanT5-Large")  
model = AutoModelForSeq2SeqLM.from_pretrained("Hatto/HattoFlanT5-Large")
model.cuda()

✨ 主要特性

• 多語言支持：支持越南語（vi）、英語（en）和中文（zh）三種語言。
• 詞彙表擴展：利用SentencePiece為越南語、英語和中文重新訓練了分詞器，並將新的詞彙表與Flan - T5的原始詞彙表合併，去除重複標記，最終合併詞彙表包含106611個標記。
• 多任務能力：標籤顯示該模型可用於t5、flant5相關任務，如摘要生成、翻譯、問答等，管道標籤為填充掩碼任務。

📦 安裝指南

暫未提供具體安裝命令，跳過該章節。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("Hatto/HattoFlanT5-Large")  
model = AutoModelForSeq2SeqLM.from_pretrained("Hatto/HattoFlanT5-Large")
model.cuda()

高級用法

暫未提供高級用法代碼示例，可根據具體任務需求對模型進行微調等操作。

📚 詳細文檔

擴展詞彙表和預訓練

我們利用SentencePiece為越南語、英語和中文重新訓練了一個分詞器。然後將這個新訓練的分詞器的詞彙表與Flan - T5的原始詞彙表合併，去除了所有重複的標記。最終合併後的詞彙表包含106611個標記。

在單輪持續預訓練（也稱為增量預訓練）中，我們使用了Flan - T5 - Large模型。該預訓練在超過100 GB的多樣化數據集上進行，數據集包含以下來源：

• 新聞語料庫
• 越南語維基百科
• 越南語書籍
• 越南語法律文件
• 越南語法律文本
• 英語維基百科
• 中文文本

微調與基準測試

模型在以下數據集上進行微調與基準測試：

• Wikilingua
• Vietnews
• Pho_NER
• .....

引用信息

• Hatto
• Ipcoms

📄 許可證

本項目採用Apache - 2.0許可證。