Ke T5 Base Ko

🚀 ke-t5-base-ko モデルカード

このモデルは、Text2Text Generation タスクに使用できるモデルです。Korea Electronics Technology Institute Artificial Intelligence Research Centerによって開発されました。

🚀 クイックスタート

以下のコードを使用して、モデルを使用することができます。

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("KETI-AIR/ke-t5-base-ko")

model = AutoModelForSeq2SeqLM.from_pretrained("KETI-AIR/ke-t5-base-ko")

✨ 主な機能

• このモデルは、Text2Text Generation のタスクに使用できます。

📦 インストール

インストールに関する具体的なコマンドが原ドキュメントに記載されていないため、このセクションは省略されました。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("KETI-AIR/ke-t5-base-ko")

model = AutoModelForSeq2SeqLM.from_pretrained("KETI-AIR/ke-t5-base-ko")

📚 ドキュメント

モデルの詳細

モデルの説明

• 開発者: Korea Electronics Technology Institute Artificial Intelligence Research Center
• 共有者 [任意]: 詳細情報が必要
• モデルの種類: Text2Text Generation
• 言語 (NLP): 詳細情報が必要
• ライセンス: Apache-2.0
• 関連モデル:
  • 親モデル: T5
• 詳細情報のリソース:
  • GitHub リポジトリ
  • KE-T5 GitHub リポジトリ
  • 論文
  • 関連論文
  • ブログ記事

使用方法

直接使用

このモデルは、Text2Text Generation のタスクに使用できます。

下流の使用 [任意]

詳細情報が必要

範囲外の使用

このモデルは、人々に敵意を抱かせたり、疎外感を与える環境を意図的に作り出すために使用してはいけません。

バイアス、リスク、制限

多くの研究が、言語モデルのバイアスと公平性の問題を調査しています（例えば、Sheng et al. (2021) および Bender et al. (2021) を参照）。このモデルによって生成される予測には、保護されたクラス、アイデンティティの特徴、および敏感な社会的および職業的グループにまたがる、不快で有害なステレオタイプが含まれる場合があります。

推奨事項

ユーザー（直接的なユーザーと下流のユーザーの両方）は、このモデルのリスク、バイアス、および制限を認識する必要があります。さらなる推奨事項については、詳細情報が必要です。

トレーニングの詳細

トレーニングデータ

このモデルは、Colossal Clean Crawled Corpus (C4) で事前学習されています。これは、T5 と同じ 研究論文 の文脈で開発および公開されたものです。

このモデルは、教師なしタスク (1.) と教師ありタスク (2.) のマルチタスク混合で事前学習されています。

詳細情報については、t5-base モデルカード を参照してください。

トレーニング手順

前処理

詳細情報が必要

速度、サイズ、時間

詳細情報が必要

評価

テストデータ、要因、メトリクス

テストデータ

詳細情報が必要

要因

詳細情報が必要

メトリクス

詳細情報が必要

結果

詳細情報が必要

モデルの調査

詳細情報が必要

環境への影響

炭素排出量は、Lacoste et al. (2019) で提示された Machine Learning Impact calculator を使用して推定することができます。

• ハードウェアの種類: 詳細情報が必要
• 使用時間: 詳細情報が必要
• クラウドプロバイダー: 詳細情報が必要
• コンピュートリージョン: 詳細情報が必要
• 排出された炭素量: 詳細情報が必要

技術仕様 [任意]

モデルアーキテクチャと目的

詳細情報が必要

コンピュートインフラストラクチャ

ハードウェア

詳細情報が必要

ソフトウェア

詳細情報が必要

引用

BibTeX:

@inproceedings{kim-etal-2021-model-cross,
    title = "A Model of Cross-Lingual Knowledge-Grounded Response Generation for Open-Domain Dialogue Systems",
    author = "Kim, San  and
      Jang, Jin Yea  and
      Jung, Minyoung  and
      Shin, Saim",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2021",
    month = nov,
    year = "2021",
    address = "Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.findings-emnlp.33",
    doi = "10.18653/v1/2021.findings-emnlp.33",
    pages = "352--365",
    abstract = "Research on open-domain dialogue systems that allow free topics is challenging in the field of natural language processing (NLP). The performance of the dialogue system has been improved recently by the method utilizing dialogue-related knowledge; however, non-English dialogue systems suffer from reproducing the performance of English dialogue systems because securing knowledge in the same language with the dialogue system is relatively difficult. Through experiments with a Korean dialogue system, this paper proves that the performance of a non-English dialogue system can be improved by utilizing English knowledge, highlighting the system uses cross-lingual knowledge. For the experiments, we 1) constructed a Korean version of the Wizard of Wikipedia dataset, 2) built Korean-English T5 (KE-T5), a language model pre-trained with Korean and English corpus, and 3) developed a knowledge-grounded Korean dialogue model based on KE-T5. We observed the performance improvement in the open-domain Korean dialogue model even only English knowledge was given. The experimental results showed that the knowledge inherent in cross-lingual language models can be helpful for generating responses in open dialogue systems.",
}

@article{2020t5,
  author  = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title   = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {Journal of Machine Learning Research},
  year    = {2020},
  volume  = {21},
  number  = {140},
  pages   = {1-67},
  url     = {http://jmlr.org/papers/v21/20-074.html}
}

APA:

- Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... & Liu, P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res., 21(140), 1-67.

用語集 [任意]

詳細情報が必要

詳細情報 [任意]

詳細情報が必要

モデルカードの作成者 [任意]

Korea Electronics Technology Institute Artificial Intelligence Research Center が、Ezi Ozoani および Hugging Face チームと協力して作成しました。

モデルカードの問い合わせ先

詳細情報が必要

📄 ライセンス

このモデルは、Apache-2.0 ライセンスの下で提供されています。