Deepseek R1 Distill Llama 8B Finance V1

🚀 アップロードされたモデル

このLlamaモデルは、UnslothとHuggingfaceのTRLライブラリを使用して、2倍速で学習されました。このモデルは、特定の金融データセットでファインチューニングすることで、ベースモデルの金融タスクにおけるパフォーマンスを向上させることを目的としています。

モデル情報

🚀 クイックスタート

このモデルは、金融関連の質問応答、生成、および金融分野の特定の知識を必要とする指示タスクに使用することができます。また、金融特有のデータセットでファインチューニングすることで恩恵を受ける他の自然言語理解と生成タスクにも使用できます。

✨ 主な機能

このモデルは、LoRA（Low-Rank Adaptation）を使用して効率的なパラメータ適応を行い、特定の金融データセットでファインチューニングされています。これにより、金融関連のタスクで良好なパフォーマンスを発揮します。

📦 インストール

このモデルを使用するには、以下のコードを実行してトークナイザーとモデルをロードします。

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("abhi9ab/DeepSeek-R1-Distill-Llama-8B-finance-v1")
model = AutoModelForCausalLM.from_pretrained("abhi9ab/DeepSeek-R1-Distill-Llama-8B-finance-v1")

inputs = tokenizer("Example finance-related query", return_tensors="pt")
outputs = model.generate(inputs['input_ids'])

📚 ドキュメント

モデル詳細

• ベースモデル: unsloth/DeepSeek-R1-Distill-Llama-8B
• モデルタイプ: 言語モデル（蒸留型）
• ファインチューニング手法: LoRA（低ランク適応）
• ファインチューニング後のモデル: DeepSeek-R1-Distill-Llama-8B-finance-v1
• データセット: Josephgflowers/Finance-Instruct-500k（5kのJSONLエントリに縮小）
• プラットフォーム: 無料版Kaggle Notebook
• ライブラリ: Hugging Face Transformers、Unsloth、Pytorch

意図された使用方法

このモデルは、金融関連の質問応答、生成、および金融分野の特定の知識を必要とする指示タスクに使用することを意図しています。また、金融特有のデータセットでファインチューニングすることで恩恵を受ける他の自然言語理解と生成タスクにも使用できます。

データセット

このモデルは、Hugging FaceのFinance-Instruct-500kデータセットのサブセットでファインチューニングされています。具体的には、ファインチューニングプロセスのために5,000のJSONLエントリに縮小されています。このデータセットには金融関連の質問と回答が含まれており、モデルの学習に豊富な例を提供します。

学習データ

• データセット名: Josephgflowers/Finance-Instruct-500k
• データサイズ: 5kサンプル（元のデータセットのサブセット）
• ドメイン: 金融
• タスク: 金融情報の検索と生成のための指示ベースのファインチューニング

注意事項

• このファインチューニングは無料版のKaggle Notebookで行われたため、学習時間と利用可能なリソースに制限があります。
• Colab/KaggleのランタイムをGPU環境に設定して、学習プロセスを高速化してください。
• 縮小された5kのデータセットは実験用の小さなサンプルです。必要に応じて、利用可能なリソースに応じて拡大することができます。

パフォーマンス

このモデルは、金融指示タスクで良好なパフォーマンスを発揮し、縮小されたデータセットに基づいて正確な応答を提供します。パフォーマンスは、特定の金融関連のベンチマークを通じてさらに評価することができます。

謝辞

• データセットを提供してくれたJosephgflowers
• モデルの実装に使用したHugging Face Transformersライブラリと、LoRAベースのファインチューニングに使用したUnsloth

📄 ライセンス

このモデルは、apache-2.0ライセンスの下で提供されています。