Bart Base Japanese

🚀 日語BART基礎模型卡片

本模型是基於日語維基百科預訓練的日語BART基礎模型，可用於自然語言處理相關任務，為日語文本處理提供強大支持。

🚀 快速開始

你可以按照以下方式使用該模型：

基礎用法

from transformers import AutoTokenizer, MBartForConditionalGeneration
tokenizer = AutoTokenizer.from_pretrained('ku-nlp/bart-base-japanese')
model = MBartForConditionalGeneration.from_pretrained('ku-nlp/bart-base-japanese')
sentence = '京都 大學 で 自然 言語 処理 を 専攻 する 。'  # input should be segmented into words by Juman++ in advance
encoding = tokenizer(sentence, return_tensors='pt')
...

你還可以在下游任務中對該模型進行微調。

✨ 主要特性

• 基於日語維基百科進行預訓練，能更好地處理日語相關任務。
• 可使用transformers庫方便地進行調用和微調。

📦 安裝指南

文檔未提及具體安裝步驟，可參考transformers庫的官方安裝指南進行安裝。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, MBartForConditionalGeneration
tokenizer = AutoTokenizer.from_pretrained('ku-nlp/bart-base-japanese')
model = MBartForConditionalGeneration.from_pretrained('ku-nlp/bart-base-japanese')
sentence = '京都 大學 で 自然 言語 処理 を 専攻 する 。'  # input should be segmented into words by Juman++ in advance
encoding = tokenizer(sentence, return_tensors='pt')
...

高級用法

文檔未提及高級用法示例，可根據自身需求對模型進行微調等操作。

📚 詳細文檔

分詞處理

輸入文本應預先使用 Juman++ 進行分詞。預訓練使用的是 Juman++ 2.0.0-rc3。每個單詞會通過 sentencepiece 進一步分詞為子詞。

訓練數據

預訓練使用了以下語料庫：

• 日語維基百科（1800萬句子）

訓練過程

首先，使用 Juman++ 對語料庫中的文本進行分詞。 然後，構建一個包含32000個標記的sentencepiece模型，其中包括單詞（JumanDIC）和由 sentencepiece 的unigram語言模型誘導的子詞。 使用sentencepiece模型將分詞後的語料庫分詞為子詞，並使用 fairseq 庫訓練日語BART模型。 使用4個Tesla V100 GPU進行了2周的訓練。 預訓練期間使用了以下超參數：

📄 許可證

本模型採用 CC BY-SA 4.0 許可證。