Bart Ko Base

🚀 韩语预训练BART模型

本项目是一个使用多个韩语数据集进行预训练的BART模型。为了使模型能够同时适用于口语和书面语，训练过程中使用了多个数据集。该训练得到了 TPU Research Cloud 项目的支持。用于预训练模型的脚本可在 此处 找到。

在使用参考API时，必须像下面的示例一样，用 [BOS] 和 [EOS] 包裹句子。

[BOS] 안녕하세요? 반가워요~~ [EOS]

你还可以使用 [MASK] 标记来测试掩码填充性能，如下所示。

[BOS] [MASK] 먹었어? [EOS]

🚀 快速开始

当你使用参考API时，必须用 [BOS] 和 [EOS] 包裹句子，示例如下：

[BOS] 안녕하세요? 반가워요~~ [EOS]

你也可以使用 [MASK] 标记测试掩码填充性能：

[BOS] [MASK] 먹었어? [EOS]

✨ 主要特性

• 使用多个韩语数据集进行预训练，使模型能同时适用于口语和书面语。
• 训练得到 TPU Research Cloud 项目支持。

💻 使用示例

基础用法

在使用参考API时，必须用 [BOS] 和 [EOS] 包裹句子，示例如下：

[BOS] 안녕하세요? 반가워요~~ [EOS]

高级用法

你可以使用 [MASK] 标记测试掩码填充性能：

[BOS] [MASK] 먹었어? [EOS]

📚 详细文档

基准测试

• 性能使用 此处的笔记本 在Colab上进行测量。

使用的数据集

全部语料库

• 日常对话语料库2020
• 口语语料库
• 书面语语料库
• 新闻语料库

AIhub

• 开放数据专业领域语料库
• 开放数据韩语文本摘要
• 开放数据情感对话语料库
• 开放数据韩语语音
• 开放数据韩语SNS

世宗语料库