Cropseek LLM

🚀 CropSeek-LLM

CropSeek-LLM は、作物の最適化に関する洞察と推奨事項を提供するために設計されたファインチューニングされた言語モデルです。このモデルは、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B モデルをベースに、DARJYO/sawotiQ29_crop_optimization データセットを使用してファインチューニングされています。作物の植え付け、土壌条件、害虫駆除、灌漑などの農業実践に関する質問に答えるように最適化されています。

🚀 クイックスタート

以下のコードを使用して、モデルを使い始めることができます。

from transformers import AutoModelForCausalLM, AutoTokenizer

# ファインチューニングされたモデルをロード
model = AutoModelForCausalLM.from_pretrained("persadian/CropSeek-LLM", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("persadian/CropSeek-LLM")

# 推論の例
input_text = "What is the best planting season for cabbages in South Coast, Durban?"
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_length=512)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

✨ 主な機能

直接利用

CropSeek-LLM は、作物の最適化に関する質問に直接答えるために使用できます。例えば、特定の作物の最適な植え付け時期、作物の成長に理想的な土壌条件、自然な害虫駆除方法、最適な灌漑方法、作物の輪作戦略などの質問に答えることができます。

下流利用

CropSeek-LLM は、農業アドバイスシステム、モバイルアプリ、またはチャットボットに統合して、農家や農学者にリアルタイムの推奨事項を提供することができます。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

📚 ドキュメント

モデルの詳細

モデルの説明

CropSeek-LLM は、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B モデルのファインチューニング版で、作物の最適化タスクに適応させられています。このモデルは、LoRA (Low-Rank Adaptation) を使用して、作物関連の質問と回答のデータセットでベースモデルを効率的にファインチューニングしています。農家、農学者、研究者が作物管理に関する情報に基づいた決定を下すのを支援するように設計されています。

利用に関する注意事項

利用範囲外

• 医療アドバイス：このモデルは医療または健康関連のアドバイスを提供するように設計されていません。
• 金融決定：このモデルは金融または投資決定に使用しないでください。
• 非農業利用：このモデルは作物の最適化のために特別にファインチューニングされており、関係のないドメインではうまく機能しない可能性があります。

バイアス、リスク、および制限事項

• データバイアス：このモデルは特定の作物と地域に焦点を当てたデータセットで学習されています。すべての作物や地理的地域にうまく一般化できない可能性があります。
• 限定的な範囲：このモデルは作物の最適化のために設計されており、関係のないトピックに対して正確な回答を提供しない可能性があります。
• 倫理的な懸念：このモデルは農学者や農業専門家からの専門的なアドバイスを置き換えるものではありません。

推奨事項

ユーザーは以下のことを行うべきです。

• モデルの推奨事項を地元の農業専門家と照合する。
• モデルの制限事項を認識し、専門的なアドバイスの代替ではなく、補助ツールとして使用する。
• バイアスや不正確さを開発者に報告して改善に役立てる。

学習の詳細

学習データ

このモデルは、農業テキストの精選されたデータセットでファインチューニングされました。これには、作物の説明と分類、植物病害の症状と治療法、農業技術とベストプラクティス、地域の農業ガイドラインなどが含まれます。具体的に使用されたデータセットは、DARYJO/sawotiQ29_crop_optimization です。

学習手順

前処理

• データセットは、関係のない情報を削除し、一貫性を確保するためにクリーニングおよび前処理されました。
• テキストデータは、ベースモデルに関連付けられたトークナイザーを使用してトークン化されました。
• 同義語置換や言い換えなどのデータ拡張手法が適用され、汎化能力を向上させました。

学習ハイパーパラメータ

• 学習方式：混合精度 (fp16)
• バッチサイズ：16
• 学習率：2e-5
• エポック数：3
• オプティマイザー：AdamW
• 重み減衰：0.01
• ウォームアップステップ：500

速度、サイズ、時間

• 学習時間：T4 GPUで約10時間
• チェックポイントサイズ：1.5 GB
• スループット：120サンプル/秒

評価

テストデータ、要因、および指標

テストデータ

このモデルは、作物の識別、病害診断、農業の推奨事項などの農業クエリのホールドアウトテストセットで評価されました。 [https://huggingface.co/datasets/DARJYO/sawotiQ29_crop_optimization]

要因

評価は以下の要因で分解されました。

• 作物の種類 (穀物、果物、野菜)
• 病害の種類 (真菌性、細菌性、ウイルス性)
• 地理的地域 (熱帯、温帯)

指標

• 正解率：作物識別タスクで92%
• 適合率/再現率/F1スコア：適合率: 0.89、再現率: 0.91、F1スコア: 0.90
• レイテンシー：T4 GPUで平均応答時間0.5秒

結果

• このモデルは、作物識別と病害診断タスクで高い正解率を達成しました。
• 特定の地域の推奨事項については、一部の地域の学習データが限られているため、性能がやや低くなりました。

まとめ

CropSeek-LLM は幅広い農業タスクで良好な性能を発揮し、農家や農業専門家にとって有用なツールとなっています。ただし、まれな作物や地域固有の慣行に対する性能は異なる可能性があります。

モデルの調査

このモデルは、アテンション可視化や特徴量重要度分析などの解釈可能性ツールを使用して調査されました。主要な調査結果は、モデルが病害診断において症状の説明に大きく依存しており、作物識別タスクにおいて作物固有のキーワードが重要な役割を果たしていることです。

環境への影響

• ハードウェアタイプ：T4 GPU
• 使用時間：10時間
• クラウドプロバイダー：Google Colab
• コンピュートリージョン：us-central1
• 排出された二酸化炭素量：約0.5 kg CO2eq

技術仕様

モデルアーキテクチャと目的

• ベースモデルアーキテクチャ：deepseek-ai/deepseek-R1-14B
• 目的：農業ドメインのテキスト生成と分類タスクのためにファインチューニングされています。

コンピュートインフラストラクチャ

ハードウェア

• 学習ハードウェア：Google Colab with T4 GPU

ソフトウェア

• フレームワーク：PyTorch, Hugging Face Transformers
• ライブラリ：Datasets, Tokenizers, Accelerate

📄 ライセンス

このモデルは DARJYO License v1.0 の下で提供されています。

引用

BibTeX

@misc{cropseek-llm,
  author = {persadian~Darshani Persadh, DARJYO},
  title = {CropSeek-LLM: A Fine-Tuned Language Model for Agricultural Applications},
  year = {2023},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/persadian/CropSeek-LLM}},
}

APA

persadian. Darshani Persadh (2023). CropSeek-LLM: A Fine-Tuned Language Model for Agricultural Applications. Hugging Face. https://huggingface.co/persadian/CropSeek-LLM

用語集

• 混合精度：効率を向上させるために、16ビットと32ビットの浮動小数点数を使用して学習すること。

詳細情報

詳細については、Hugging Face の CropSeek-LLM スペースをご覧ください。

モデルカードの作成者

• persadian ~Darshani Persah

モデルカードの問い合わせ先

• info@darjyo.com