Llama381binstruct Summarize Short Merged

🚀 🧠 FlamingNeuron / llama381binstruct_summarize_short_merged

這是一個基於 NousResearch/Meta-Llama-3.1-8B-Instruct 的合併模型，使用 LoRA 適配器針對法律領域的摘要任務進行了微調。LoRA 權重已與基礎模型合併，可獨立使用。

🚀 快速開始

若需完整的設置說明和有效的推理示例，請查看：
👉 GitHub 倉庫：LLaMA3-demo

✨ 主要特性

• 基於 Meta-Llama-3.1-8B-Instruct 模型進行合併與微調。
• 能夠將法律術語轉換為簡短、易讀的摘要。
• 使用 LoRA 適配器進行訓練併合並權重，可獨立使用。

💻 使用示例

基礎用法

此模型期望使用 Meta 風格的結構化提示，包含兩個字段：original_text 和 reference_summary。original_text 包含輸入段落，模型會在空的 reference_summary 處生成摘要。

🔧 技術細節

🏋️ 訓練過程

該模型使用 legal_summarization 數據集，通過**有監督的微調（SFT）**對法律文檔摘要進行訓練。訓練期間應用了 LoRA 適配器，並在之後使用 merge_and_unload() 進行合併。

⚙️ 框架版本

• TRL: 0.16.1
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu124
• Datasets: 3.5.0
• Tokenizers: 0.21.1

📚 詳細文檔

此模型在微調過程中使用了 TRL。

⚖️ 法律聲明

此模型基於 Meta 的 LLaMA 3.1 架構構建，並受 LLaMA 3.1 社區許可證 約束。所有使用必須遵守 Meta 的可接受使用政策。

它僅使用 legal_summarization 數據集 進行研究和教育目的。

此模型不用於超出 Meta 許可證規定限制的商業用途（例如，月活躍用戶超過 7 億）。

📄 許可證

本模型使用的許可證為 LLaMA 3.1 社區許可證。