Summllama3 8B

🚀 SummLlama3-8B

複数のドメインにわたって、より人間に好まれる要約を生成できる要約器をお探しですか？私たちのSummLlama3-8Bがあなたの求めるものかもしれません！

🚀 クイックスタート

SummLlama3-8Bは、大規模（10万件以上）の要約フィードバックに基づいてDirect Preference Optimization (DPO) を用いて追加学習を行った、Llama3-8B-Instructをベースにした要約モデルです。

モデルの基本情報

評価結果

自動評価結果

人間評価結果

他のバージョン

• SummLlama3-70B
  • https://huggingface.co/DISLab/SummLlama3-70B
• SummLlama3.1-Series
  • https://huggingface.co/DISLab/SummLlama3.1-8B
  • https://huggingface.co/DISLab/SummLlama3.1-70B
• SummLlama3.2-Series
  • https://huggingface.co/DISLab/SummLlama3.2-3B

推奨プロンプト

以下のプロンプトを使用することをおすすめします。このプロンプトを使用してモデルを学習させています。

def format_chat_template(document):
    instruction = "Please summarize the input documnet."
    row_json = [{"role": "user", "content": f"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Input:\n{document}\n\n### Response:\n"}]
    return tokenizer.apply_chat_template(row_json, tokenize=False)

要約器の概要

高価な人間のフィードバックに依存するのではなく、大規模言語モデル (LLM) が生成する高品質、多次元、細粒度のフィードバックを利用しています。このモデルは、人間が良い要約器を判断する3つの側面である Faithfulness、Completeness、Conciseness で優れています。

• Faithfulness: 要約器は入力テキストの情報を操作せず、入力テキストから直接推測できない情報を追加しません。
• Completeness: 要約器は入力テキストのすべての重要な情報を出力要約に含めます。
• Conciseness: 要約器は出力に重要な情報以外の情報を含めず、簡潔で焦点のある要約を維持します。

具体的な例

SummLlama3-8Bの要約が人間に好まれる理由

• コアフォーカス: 要約は会話の主要なテーマである感謝祭ディナーの手配を正確に捉えています。2人が計画を確認し、持ち物を話し合い、Person2がパイの代わりにワインを持ってくることを決定する流れを強調しており、コアコンテキストを維持しています。
• 重要事実の包含: 要約は会話の重要な詳細を網羅しており、Person2が最初にデザート（カボチャパイ）を持ってくると提案し、別の家族がデザートを担当するためにワインを持ってくることに変更したことを含んでいます。他の要約はこの流れを見落としたり単純化したりする傾向がありますが、SummLlama3-8Bは会話の重要なイベントを完全に捉えています。
• 明瞭性と簡潔性: 要約はシンプルで簡潔な方法で構成されており、不要な詳細なしに会話を効果的に要約しています。会話の流れと結果を明確に提示しており、読者が理解しやすくなっています。イベントの論理的な順序が維持されており、スムーズなナラティブが保たれています。

参考論文

詳細については、論文を参照してください。