Summllama3.1 8B

🚀 SummLlama3.1-8B

SummLlama3.1-8Bは、複数のドメインにわたって、より人間に好まれる要約を生成できる要約モデルです。Llama3.1-8B-Instructをベースに、大規模（10万件以上）の要約フィードバックを用いたDirect Preference Optimization (DPO)による追加学習を行っています。

🚀 クイックスタート

モデル情報

推奨プロンプト

要約を取得するために、以下のプロンプトを使用することをおすすめします。このプロンプトを使用してモデルを学習させています。

def format_chat_template(document):
    instruction = "Please summarize the input documnet."
    row_json = [{"role": "user", "content": f"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Input:\n{document}\n\n### Response:\n"}]
    return tokenizer.apply_chat_template(row_json, tokenize=False)

モデルのURL

• SummLlama3-70B
  • https://huggingface.co/DISLab/SummLlama3-8B
  • https://huggingface.co/DISLab/SummLlama3-70B
• SummLlama3.1-Series
  • https://huggingface.co/DISLab/SummLlama3.1-8B
  • https://huggingface.co/DISLab/SummLlama3.1-70B
• SummLlama3.2-Series
  • https://huggingface.co/DISLab/SummLlama3.2-3B

論文情報

詳細については、論文を参照してください。

✨ 主な機能

フィードバックの多様性

フィードバックには、短いテキストから長いテキストまで、対話形式と非対話形式の両方を含む幅広い入力文書が含まれており、7つの異なるドメインにまたがっています。

• 4つの非対話ドメイン: ニュース、ライフスタイル、レポート、医療
• 3つの対話ドメイン: 日常生活、インタビュー、会議

評価結果

自動評価と人間による評価の両方を行った結果、SummLlama3は元のLlama3シリーズに比べて大幅な改善を示しました。

自動評価結果

人間による評価結果

要約の例

以下の会話の要約を、Llama3-8B-Instruct、Llama3-70B-Instruct、SummLlama3-8Bで行った結果を比較します。

SummLlama3-8Bの要約が人間に好まれる理由

• 核心的な焦点: 要約は、感謝祭ディナーの手配を中心とした会話の主要なテーマを正確に捉えています。二人が計画を確認し、持ち物を話し合い、Person2がパイの代わりにワインを持ってくることを決定する流れを強調しています。
• 重要事実の包含: 要約は、会話の重要な詳細を網羅しています。Person2が最初にデザート（カボチャパイ）を持ってくる提案と、別の家族がデザートを担当するためにワインに変更する流れを含んでいます。他の要約はこの流れを見落としたり、単純化したりする傾向がありますが、SummLlama3-8Bは会話の重要な出来事を完全に捉えています。
• 明瞭性と簡潔性: 要約は、簡潔で明確な構造になっており、不要な詳細を省いて会話を効果的に要約しています。議論の流れと結果を明確に提示しており、読者が理解しやすいようになっています。イベントの論理的な順序が維持されており、スムーズな物語性が保たれています。
• 正確な役割描写: 要約は、Person1をホスト、Paul (Person2)をゲストとして明確に識別しており、彼らの関係と会話の性質を明確にしています。この区別は、他の要約よりもSummLlama3-8Bでより明示的になっています。