Bart Large Japanese

🚀 日语BART大模型

这是一个基于日语维基百科预训练的日语BART大模型，可用于自然语言处理相关任务，为日语文本处理提供强大支持。

🚀 快速开始

模型使用

你可以按照以下方式使用这个模型：

from transformers import AutoTokenizer, MBartForConditionalGeneration
tokenizer = AutoTokenizer.from_pretrained('ku-nlp/bart-large-japanese')
model = MBartForConditionalGeneration.from_pretrained('ku-nlp/bart-large-japanese')
sentence = '京都 大学 で 自然 言語 処理 を 専攻 する 。'  # input should be segmented into words by Juman++ in advance
encoding = tokenizer(sentence, return_tensors='pt')
...

你还可以在下游任务中对该模型进行微调。

✨ 主要特性

• 预训练基础：基于日语维基百科进行预训练，能更好地适应日语语言特点。
• 灵活性高：支持在下游任务中进行微调，以满足不同的应用需求。

📦 安装指南

文档未提及安装步骤，故跳过该部分。

💻 使用示例

基础用法

from transformers import AutoTokenizer, MBartForConditionalGeneration
tokenizer = AutoTokenizer.from_pretrained('ku-nlp/bart-large-japanese')
model = MBartForConditionalGeneration.from_pretrained('ku-nlp/bart-large-japanese')
sentence = '京都 大学 で 自然 言語 処理 を 専攻 する 。'  # input should be segmented into words by Juman++ in advance
encoding = tokenizer(sentence, return_tensors='pt')
...

高级用法

可在下游任务中对该模型进行微调，以适应特定的应用场景。

📚 详细文档

分词处理

输入文本应预先使用 Juman++ 进行分词。预训练使用的是 Juman++ 2.0.0 - rc3。每个单词会通过 sentencepiece 进一步分词为子词。

训练数据

我们使用了以下语料库进行预训练：

• 日语维基百科（1800万句子）

训练过程

我们首先使用 Juman++ 将语料库中的文本分词为单词。 然后，我们构建了一个包含32000个标记的sentencepiece模型，其中包括单词（JumanDIC）和 sentencepiece 的一元语言模型诱导的子词。 我们使用sentencepiece模型将分词后的语料库分词为子词，并使用 fairseq 库训练日语BART模型。 使用4个Tesla V100 GPU进行训练大约需要1个月。

预训练期间使用了以下超参数：

🔧 技术细节

该模型基于Transformer架构，结合了BART模型的优势，在日语维基百科上进行预训练，能够学习到丰富的日语语言知识。通过特定的分词处理和超参数设置，使得模型在日语自然语言处理任务中表现良好。

📄 许可证

本模型采用 CC - BY - SA 4.0 许可证。