Summllama3.2 3B

🚀 SummLlama3.2-3B

あなたは、複数のドメインにわたって、より人間が好む要約を生成できる要約器を探していますか？

私たちのSummLlama3.2-3Bがあなたの求めるものかもしれません！

SummLlama3.2-3Bは、Llama3.2-3B-Instructを初期化し、大規模（10万件以上）の要約フィードバックに基づいて、Direct Preference Optimization (DPO) を使用して追加学習を行っています。

このフィードバックには、短いテキストから長いテキストまで、対話形式と非対話形式の両方を含む幅広い入力ドキュメントが含まれ、7つの異なるドメインにまたがっています。

• 4つの非対話ドメイン：ニュース、ライフスタイル、レポート、医療
• 3つの対話ドメイン：日常生活、インタビュー、会議

これは自動評価の結果です。

テキスト要約の文脈でLLMが生成したフィードバックをどのように活用するかについては、当社の論文を参照してください。

SummLlama3-70B

https://huggingface.co/DISLab/SummLlama3-8B

https://huggingface.co/DISLab/SummLlama3-70B

SummLlama3.1シリーズ

https://huggingface.co/DISLab/SummLlama3.1-8B

https://huggingface.co/DISLab/SummLlama3.1-70B

SummLlama3.2シリーズ

https://huggingface.co/DISLab/SummLlama3.2-3B

テキスト要約の推奨プロンプト

当モデルは以下のプロンプトを使用して学習させているため、要約を取得する際にはこのプロンプトを使用することを推奨します。

def format_chat_template(document):
    instruction = "Please summarize the input document."
    row_json = [{"role": "user", "content": f"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Input:\n{document}\n\n### Response:\n"}]
    return tokenizer.apply_chat_template(row_json, tokenize=False)

当要約器の概要は以下の通りです。

高価な人間のフィードバックに依存するのではなく、大規模言語モデル (LLM) が生成した高品質、多次元、細粒度のフィードバックを利用しています。

このモデルは、良い要約器を判断するための人間が好む3つの側面である忠実度、完全性、簡潔性に優れています。

• 忠実度：要約器は入力テキストの情報を操作せず、入力テキストから直接推測できない情報を追加しません。
• 完全性：要約器は入力テキストのすべての重要な情報が出力要約に含まれることを保証します。
• 簡潔性：要約器は出力に重要な情報以外の情報を含めず、簡潔で焦点のある要約を維持します。

要約品質の人間評価と自動評価の両方を含む包括的な評価に基づき、SummLlama3は元のLlama3シリーズに比べて大幅な改善を示しました。

結果は以下の通りです。

人間評価

FineSurEを使用した自動評価

例

以下のドキュメントについて、SummLlama3-8Bによる要約がLlama3-8/70B-Instructに比べてどのように改善されたかの例を見てみましょう。

SummLlama3-8Bの要約は、以下の理由から、はるかに人間が好む要約と見なすことができます。

核心的な焦点：要約は、感謝祭ディナーの手配を中心とした会話の主要なテーマを正確に捉えています。二人が計画を確認し、持ち物を話し合い、人物2がパイの代わりにワインを持ってくることを決定する流れを強調しており、核心的なコンテキストを維持しています。

重要事実の包含：要約は、人物2が最初にデザート（カボチャパイ）を持ってくる提案をし、別の家族がデザートを担当するためにワインに変更したという会話の重要な詳細をカバーしています。他の要約はこの流れを見落としたり、単純化したりする傾向がありますが、SummLlama3-8Bは対話の主要な出来事を完全に捉えています。

明瞭性と簡潔性：要約は、簡潔で明瞭な構造になっており、不要な詳細を省いて会話を効果的に要約しています。議論の流れと結果を明確に提示しており、読者が理解しやすくなっています。イベントの論理的な順序が維持されており、スムーズな物語が保たれています。

正確な役割描写：要約は、人物1をホスト、ポール（人物2）をゲストとして明確に特定しており、彼らの関係と会話の性質を明確にしています。この区別は、他の要約よりもSummLlama3-8Bでより明確になっています。