Llama381binstruct Summarize Short Merged

🚀 🧠 FlamingNeuron / llama381binstruct_summarize_short_merged

このモデルは、NousResearch/Meta-Llama-3.1-8B-Instruct をベースとしたマージモデルです。法務分野の要約に特化してLoRAアダプターを用いてファインチューニングされており、LoRAの重みはベースモデルとマージされ、単独で使用可能な状態になっています。

🚀 クイックスタート

このモデルは、legal_summarization プロジェクトのデータを元に、法務用語を短く人間が読みやすい要約に変換します。

完全なセットアップ手順と動作する推論の例については、以下を参照してください。
👉 GitHubリポジトリ: LLaMA3-demo

このモデルは、original_text と reference_summary の2つのフィールドを持つMetaスタイルの構造化プロンプトを期待しています。original_text には入力文章が含まれ、モデルは空の reference_summary の部分に要約を生成します。

✨ 主な機能

• 法務用語を短く人間が読みやすい要約に変換することができます。
• Metaスタイルの構造化プロンプトに対応しています。

💻 使用例

基本的な使用法

このモデルは、Metaスタイルの構造化プロンプトを使用します。original_text と reference_summary の2つのフィールドを持つプロンプトを入力すると、モデルは reference_summary の部分に要約を生成します。

🔧 技術詳細

🏋️ 学習手順

このモデルは、legal_summarization データセットを使用して、法務文書の要約に対してSupervised Fine-Tuning (SFT) を行って学習されました。学習中にLoRAアダプターが適用され、その後 merge_and_unload() を使用してマージされました。

⚙️ フレームワークのバージョン

• TRL: 0.16.1
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu124
• Datasets: 3.5.0
• Tokenizers: 0.21.1

📚 ドキュメント

📚 引用

このモデルは、TRL を使用してファインチューニングされました。

⚖️ 法的注意事項

このモデルはMetaのLLaMA 3.1アーキテクチャをベースに構築されており、LLaMA 3.1 Community License に準拠しています。すべての使用はMetaの許容使用ポリシーに従わなければなりません。

このモデルは、legal_summarizationデータセット を使用して研究および教育目的のみでファインチューニングされています。

このモデルは、Metaのライセンスに記載されている制限を超える商業利用（例えば、月間アクティブユーザーが7億人を超える場合）を目的としていません。

📄 ライセンス

このモデルは other ライセンスの下で提供されています。