T5 Small Squad Qg Ae

🚀 lmqg/t5-small-squad-qg-aeのモデルカード

このモデルは、t5-small を微調整したもので、lmqg を通じて lmqg/qg_squad （データセット名: default）上で質問生成と回答抽出を同時に行うように訓練されています。

📋 概要

• 言語モデル: t5-small
• 言語: en
• 訓練データ: lmqg/qg_squad (default)
• オンラインデモ: https://autoqg.net/
• リポジトリ: https://github.com/asahi417/lm-question-generation
• 論文: https://arxiv.org/abs/2210.03992

💻 使用例

基本的な使用法

lmqg を使用する場合

from lmqg import TransformersQG

# モデルの初期化
model = TransformersQG(language="en", model="lmqg/t5-small-squad-qg-ae")

# モデルの予測
question_answer_pairs = model.generate_qa("William Turner was an English painter who specialised in watercolour landscapes")

transformers を使用する場合

from transformers import pipeline

pipe = pipeline("text2text-generation", "lmqg/t5-small-squad-qg-ae")

# 回答抽出
answer = pipe("generate question: <hl> Beyonce <hl> further expanded her acting career, starring as blues singer Etta James in the 2008 musical biopic, Cadillac Records.")

# 質問生成
question = pipe("extract answers: <hl> Beyonce further expanded her acting career, starring as blues singer Etta James in the 2008 musical biopic, Cadillac Records. <hl> Her performance in the film received praise from critics, and she garnered several nominations for her portrayal of James, including a Satellite Award nomination for Best Supporting Actress, and a NAACP Image Award nomination for Outstanding Supporting Actress.")

📊 評価

質問生成のメトリクス

• メトリクス (質問生成): 生のメトリクスファイル

質問と回答生成のメトリクス

• メトリクス (質問と回答生成): 生のメトリクスファイル

回答抽出のメトリクス

• メトリクス (回答抽出): 生のメトリクスファイル

🔧 訓練ハイパーパラメータ

微調整時に使用されたハイパーパラメータは以下の通りです。

• データセットパス: lmqg/qg_squad
• データセット名: default
• 入力タイプ: ['paragraph_answer', 'paragraph_sentence']
• 出力タイプ: ['question', 'answer']
• プレフィックスタイプ: ['qg', 'ae']
• モデル: t5-small
• 最大長: 512
• 最大出力長: 32
• エポック数: 7
• バッチサイズ: 64
• 学習率: 0.0001
• fp16: False
• 乱数シード: 1
• 勾配蓄積ステップ数: 1
• ラベル平滑化: 0.15

完全な設定は 微調整設定ファイル で確認できます。

📖 引用

@inproceedings{ushio-etal-2022-generative,
    title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
    author = "Ushio, Asahi  and
        Alva-Manchego, Fernando  and
        Camacho-Collados, Jose",
    booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
    month = dec,
    year = "2022",
    address = "Abu Dhabi, U.A.E.",
    publisher = "Association for Computational Linguistics",
}

📄 ライセンス

このモデルはCC-BY-4.0ライセンスの下で提供されています。