Ke T5 Base Ko

🚀 ke-t5-base-ko 模型卡片

ke-t5-base-ko 是一個用於文本到文本生成任務的模型，由韓國電子技術研究院人工智能研究中心開發。它基於 T5 架構，在大規模語料上進行預訓練，可用於多種自然語言處理任務。

🚀 快速開始

使用以下代碼開始使用該模型：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("KETI-AIR/ke-t5-base-ko")

model = AutoModelForSeq2SeqLM.from_pretrained("KETI-AIR/ke-t5-base-ko")

✨ 主要特性

• 文本到文本生成：該模型可用於文本到文本生成任務。
• 多語言支持：支持韓語和英語。

📦 安裝指南

暫未提供安裝步驟相關內容。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("KETI-AIR/ke-t5-base-ko")
model = AutoModelForSeq2SeqLM.from_pretrained("KETI-AIR/ke-t5-base-ko")

input_text = "아버지가 방에 들어가신다.</s>"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids
outputs = model.generate(input_ids)
output_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(output_text)

📚 詳細文檔

模型詳情

模型描述

• 開發者：韓國電子技術研究院人工智能研究中心
• 模型類型：文本到文本生成
• 相關模型：父模型為 T5
• 更多信息資源：
  • GitHub 倉庫
  • KE-T5 Github 倉庫
  • 論文
  • 關聯論文
  • 博客文章

用途

直接用途

該模型可用於文本到文本生成任務。

超出範圍的使用

該模型不應用於故意為人們創造敵對或疏遠的環境。

偏差、風險和侷限性

大量研究已經探討了語言模型的偏差和公平性問題。該模型生成的預測可能包括受保護類別、身份特徵以及敏感、社會和職業群體的令人不安和有害的刻板印象。

建議

用戶（直接用戶和下游用戶）應瞭解該模型的風險、偏差和侷限性。

訓練詳情

訓練數據

該模型在 Colossal Clean Crawled Corpus (C4) 上進行預訓練，該語料庫是在與 T5 相同的 研究論文 背景下開發和發佈的。模型在無監督（1.）和有監督任務（2.）的多任務混合上進行預訓練。

評估

相關測試數據、因素、指標及結果的詳細信息暫未提供。

模型檢查

相關信息暫未提供。

環境影響

可以使用 Lacoste 等人（2019） 提出的 機器學習影響計算器 來估算碳排放。但硬件類型、使用時長、雲服務提供商、計算區域和碳排放等具體信息暫未提供。

技術規格（可選）

相關模型架構和目標、計算基礎設施（硬件和軟件）的詳細信息暫未提供。

引用

BibTeX

@inproceedings{kim-etal-2021-model-cross,
    title = "A Model of Cross-Lingual Knowledge-Grounded Response Generation for Open-Domain Dialogue Systems",
    author = "Kim, San  and
      Jang, Jin Yea  and
      Jung, Minyoung  and
      Shin, Saim",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2021",
    month = nov,
    year = "2021",
    address = "Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.findings-emnlp.33",
    doi = "10.18653/v1/2021.findings-emnlp.33",
    pages = "352--365",
    abstract = "Research on open-domain dialogue systems that allow free topics is challenging in the field of natural language processing (NLP). The performance of the dialogue system has been improved recently by the method utilizing dialogue-related knowledge; however, non-English dialogue systems suffer from reproducing the performance of English dialogue systems because securing knowledge in the same language with the dialogue system is relatively difficult. Through experiments with a Korean dialogue system, this paper proves that the performance of a non-English dialogue system can be improved by utilizing English knowledge, highlighting the system uses cross-lingual knowledge. For the experiments, we 1) constructed a Korean version of the Wizard of Wikipedia dataset, 2) built Korean-English T5 (KE-T5), a language model pre-trained with Korean and English corpus, and 3) developed a knowledge-grounded Korean dialogue model based on KE-T5. We observed the performance improvement in the open-domain Korean dialogue model even only English knowledge was given. The experimental results showed that the knowledge inherent in cross-lingual language models can be helpful for generating responses in open dialogue systems.",
}

@article{2020t5,
  author  = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title   = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {Journal of Machine Learning Research},
  year    = {2020},
  volume  = {21},
  number  = {140},
  pages   = {1-67},
  url     = {http://jmlr.org/papers/v21/20-074.html}
}

APA

- Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... & Liu, P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 21(140), 1-67.

📄 許可證

該模型使用 Apache-2.0 許可證。