Summllama3 70B

🚀 SummLlama3-70B

あなたは、複数のドメインにわたって、より人間が好む要約を生成できる要約器を探していますか？

私たちのSummLlama3-70Bがあなたの求めるものかもしれません！

SummLlama3-70Bは、Llama3-70B-Instructを初期モデルとして、大規模（10万件以上）の要約フィードバックに基づいてDirect Preference Optimization (DPO) を用いて追加学習を行っています。

このフィードバックには、短いテキストから長いテキストまで、対話形式と非対話形式の両方を含む幅広い入力文書が含まれており、7つの異なるドメインにまたがっています。

• 4つの非対話ドメイン：ニュース、ライフスタイル、レポート、医療
• 3つの対話ドメイン：日常生活、インタビュー、会議

これは自動評価の結果です：

テキスト要約の文脈でLLMが生成したフィードバックをどのように活用するかについては、当社の論文を参照してください。

SummLlama3-70B https://huggingface.co/DISLab/SummLlama3-8B https://huggingface.co/DISLab/SummLlama3-70B

SummLlama3.1-Series https://huggingface.co/DISLab/SummLlama3.1-8B https://huggingface.co/DISLab/SummLlama3.1-70B

SummLlama3.2-Series https://huggingface.co/DISLab/SummLlama3.2-3B

💡 テキスト要約の推奨プロンプト

当モデルは以下のプロンプトを使用して学習されているため、要約を取得する際にはこのプロンプトを使用することを推奨します。

def format_chat_template(document):
    instruction = "Please summarize the input documnet."
    row_json = [{"role": "user", "content": f"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Input:\n{document}\n\n### Response:\n"}]
    return tokenizer.apply_chat_template(row_json, tokenize=False)

✨ 主な機能

高価な人間のフィードバックに依存するのではなく、大規模言語モデル (LLM) が生成した高品質、多次元、細粒度のフィードバックを利用しています。

このモデルは、良い要約器を判断するための人間が好む3つの側面である忠実度、完全性、簡潔性に優れています。

• 忠実度：要約器は入力テキストの情報を操作せず、入力テキストから直接推測できない情報を追加しません。
• 完全性：要約器は入力テキストのすべての重要な情報を出力要約に含めます。
• 簡潔性：要約器は出力に重要情報以外の情報を含めず、簡潔で焦点のある要約を維持します。

要約品質の人間評価と自動評価を含む包括的な評価に基づき、SummLlama3は元のLlama3シリーズに比べて大幅な改善を示しました。

以下はその結果です：

人間評価

FineSurEを使用した自動評価

💻 使用例

基本的な使用法

以下の文書に対するLlama3-8/70B-InstructとSummLlama3-8Bの要約の改善例を見てみましょう。

SummLlama3-8Bの要約は、以下の理由から人間が好む要約と見なすことができます。

• 核心的な焦点：要約は会話の主要なテーマである感謝祭ディナーの手配を正確に捉えています。2人が計画を確認し、持ち物を話し合い、人物2がパイの代わりにワインを持ってくることを決定する流れを強調しています。これにより、核心的なコンテキストが維持されます。
• 重要事実の包含：要約は会話の重要な詳細を網羅しており、人物2が最初にデザート（カボチャパイ）を持ってくる提案と、他の家族がデザートを担当するためにワインに変更する流れを含んでいます。他の要約はこの流れを見落としたり単純化したりする傾向がありますが、SummLlama3-8Bは会話の重要な出来事を完全に捉えています。
• 明瞭性と簡潔性：要約は直截的で簡潔な方法で構成されており、不要な詳細を含まずに会話を効果的に要約しています。議論の流れと結果を明確に提示しており、読者が理解しやすくなっています。イベントの論理的な順序が維持されており、スムーズな物語性が保たれています。
• 正確な役割の描写：要約は人物1をホスト、ポール（人物2）をゲストとして明確に識別しており、彼らの関係と会話の性質を明確にしています。この区別は他の要約と比較してSummLlama3-8Bでより明確になっています。

📚 詳細文档

モデル情報