ADELIE DPO 1.5B

🚀 ADELIE-DPO-1.5B模型卡片

ADELIE（Aligning large language moDELs on Information Extraction）是一個經過對齊的大語言模型，能有效解決各類信息提取（IE）任務，包括封閉IE、開放IE和按需IE。團隊首先為IE收集並構建了高質量的對齊語料庫IEInstruct，接著在IEInstruct上使用指令調優訓練了ADELIE_SFT，並進一步以直接偏好優化（DPO）目標對ADELIE_SFT進行訓練，得到ADELIE_DPO。在各種保留的IE數據集上進行的大量實驗表明，模型（ADELIE_SFT和ADELIE_DPO）在開源模型中達到了最先進（SoTA）的性能。此外，對ADELIE的通用能力進行了探索，實驗結果顯示其通用能力沒有明顯下降。

• 📄 論文：ADELIE: Aligning Large Language Models on Information Extraction
• 💻 GitHub：THU/ADELIE

✨ 主要特性

• 多任務解決能力：能夠有效解決封閉IE、開放IE和按需IE等多種信息提取任務。
• 高性能表現：在各類IE數據集上的實驗中，在開源模型中達到了最先進的性能。
• 通用能力穩定：在探索通用能力時，未發現其通用能力有明顯下降。

📚 詳細文檔

模型性能

下表展示了ADELIE模型在封閉IE、開放IE和按需IE任務中的平均F1分數（%），以及其在通用基準測試中的整體性能（%）。數據集的詳細信息請參考論文。

模型描述

• 開發者：Yunjia Qi, Hao Peng, Xiaozhi Wang, Bin Xu, Lei Hou, Juanzi Li
• 模型類型：文本生成
• 語言（NLP）：英語
• 許可證：基礎模型採用LLaMA2許可證。
• 微調基礎模型（可選）：Qwen2.5 - 1.5B

相關數據集

• ACE05
• conll2003
• conll2012_ontonotesv5
• rams
• tacred
• fewrel
• maven

指標

• F1

模型標籤

• text-generation-inference
• Information Extraction
• IE
• Named Entity Recogniton
• Event Extraction
• Relation Extraction
• LLaMA

許可證說明

基礎模型採用LLaMA2許可證。