Bart Large Japanese

🚀 日語BART大模型

這是一個基於日語維基百科預訓練的日語BART大模型，可用於自然語言處理相關任務，為日語文本處理提供強大支持。

🚀 快速開始

模型使用

你可以按照以下方式使用這個模型：

from transformers import AutoTokenizer, MBartForConditionalGeneration
tokenizer = AutoTokenizer.from_pretrained('ku-nlp/bart-large-japanese')
model = MBartForConditionalGeneration.from_pretrained('ku-nlp/bart-large-japanese')
sentence = '京都 大學 で 自然 言語 処理 を 専攻 する 。'  # input should be segmented into words by Juman++ in advance
encoding = tokenizer(sentence, return_tensors='pt')
...

你還可以在下游任務中對該模型進行微調。

✨ 主要特性

• 預訓練基礎：基於日語維基百科進行預訓練，能更好地適應日語語言特點。
• 靈活性高：支持在下游任務中進行微調，以滿足不同的應用需求。

📦 安裝指南

文檔未提及安裝步驟，故跳過該部分。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, MBartForConditionalGeneration
tokenizer = AutoTokenizer.from_pretrained('ku-nlp/bart-large-japanese')
model = MBartForConditionalGeneration.from_pretrained('ku-nlp/bart-large-japanese')
sentence = '京都 大學 で 自然 言語 処理 を 専攻 する 。'  # input should be segmented into words by Juman++ in advance
encoding = tokenizer(sentence, return_tensors='pt')
...

高級用法

可在下游任務中對該模型進行微調，以適應特定的應用場景。

📚 詳細文檔

分詞處理

輸入文本應預先使用 Juman++ 進行分詞。預訓練使用的是 Juman++ 2.0.0 - rc3。每個單詞會通過 sentencepiece 進一步分詞為子詞。

訓練數據

我們使用了以下語料庫進行預訓練：

• 日語維基百科（1800萬句子）

訓練過程

我們首先使用 Juman++ 將語料庫中的文本分詞為單詞。 然後，我們構建了一個包含32000個標記的sentencepiece模型，其中包括單詞（JumanDIC）和 sentencepiece 的一元語言模型誘導的子詞。 我們使用sentencepiece模型將分詞後的語料庫分詞為子詞，並使用 fairseq 庫訓練日語BART模型。 使用4個Tesla V100 GPU進行訓練大約需要1個月。

預訓練期間使用了以下超參數：

🔧 技術細節

該模型基於Transformer架構，結合了BART模型的優勢，在日語維基百科上進行預訓練，能夠學習到豐富的日語語言知識。通過特定的分詞處理和超參數設置，使得模型在日語自然語言處理任務中表現良好。

📄 許可證

本模型採用 CC - BY - SA 4.0 許可證。